[논문 리뷰] MetaShift: A Dataset of Datasets for Evaluating Contextual Distribution Shifts and Training Conflicts

Weixin Liang, James Zou|arXiv (Cornell University)|2022. 02. 14.

Cell Image Analysis Techniques인용 수 13

한 줄 요약

MetaShift는 시각적 그라운드 이미지의 맥락적 메타데이터를 사용해 클러스터링하여 410개 클래스에 걸쳐 12,868개의 자연 이미지 서브셋을 포함하는 대규모이고 구조화된 벤치마크를 제안한다. 이는 다양한 데이터 분포 이탈을 모델링하기 위해 설계되었으며, 각 서브셋 간의 차이를 명시적으로 애너테이션하고, 이격도 점수를 정량적으로 제공함으로써 모델의 강건성 평가와 훈련 갈등의 시각화를 가능하게 한다. 결과적으로 중간 정도의 이탈에서는 경험적 리스크 최소화가 가장 우수한 성능을 보이며, 큰 이탈에서는 어떤 방법도 일관되게 다른 방법을 앞서지 못함을 확인하였다.

ABSTRACT

Understanding the performance of machine learning models across diverse data distributions is critically important for reliable applications. Motivated by this, there is a growing focus on curating benchmark datasets that capture distribution shifts. While valuable, the existing benchmarks are limited in that many of them only contain a small number of shifts and they lack systematic annotation about what is different across different shifts. We present MetaShift--a collection of 12,868 sets of natural images across 410 classes--to address this challenge. We leverage the natural heterogeneity of Visual Genome and its annotations to construct MetaShift. The key construction idea is to cluster images using its metadata, which provides context for each image (e.g. "cats with cars" or "cats in bathroom") that represent distinct data distributions. MetaShift has two important benefits: first, it contains orders of magnitude more natural data shifts than previously available. Second, it provides explicit explanations of what is unique about each of its data sets and a distance score that measures the amount of distribution shift between any two of its data sets. We demonstrate the utility of MetaShift in benchmarking several recent proposals for training models to be robust to data shifts. We find that the simple empirical risk minimization performs the best when shifts are moderate and no method had a systematic advantage for large shifts. We also show how MetaShift can help to visualize conflicts between data subsets during model training.

연구 동기 및 목표

• 기존 벤치마크에서 데이터 분포 이탈에 대한 체계적이고 세밀한 애너테이션이 부족한 문제를 해결하기 위해.
• 실제 맥락에서 자연스럽고 이질적인 데이터 분포를 포괄하는 대규모이고 구조화된 데이터셋을 생성하기 위해.
• 통제된, 조절 가능한 분포 이탈 조건 하에서 모델 성능과 훈련 동역학을 평가할 수 있도록 하기 위해.
• 모델 최적화 과정에서 데이터 서브셋 간의 갈등하는 훈련 신호를 시각화하고 분석하기 위해.
• 사용 가능한 메타데이터를 활용해 다른 도메인에서도 유사한 벤치마크를 구축할 수 있는 재사용 가능한 프레임워크를 제공하기 위해.

제안 방법

• 시각적 그라운드 데이터셋과 그 풍부한 메타데이터(예: 객체, 속성, 장면 맥락)를 활용하여 서로 다른 데이터 분포를 나타내는 이미지 클러스터를 정의한다.
• 메타데이터 기반 클러스터링을 통해 12,868개의 일관된 서브셋으로 이미지를 그룹화하며, 각 서브셋은 고유한 맥락적 분포에 대응한다(예: '자동차가 있는 고양이', '벤치 위의 개').
• 각 서브셋에 대해 특정 객체나 장면의 존재 등 고유성을 명시적으로 애너테이션한다.
• 메타데이터와 시각적 특징을 기반으로 학습된 메트릭을 사용해, 임의의 두 서브셋 간의 분포 이격도 점수를 계산한다.
• 서브셋 소속 정보를 활용해 훈련 중 기울기 업데이트의 기여도를 할당하고, 서브셋 간 훈련 갈등을 분석한다.
• 표준 기반 모델인 DomainBed를 사용해 도메인 일반화 및 서브집단 이탈 설정에서 벤치마크를 평가한다.

실험 결과

연구 질문

• RQ1 다양한 정도의 자연적 분포 이탈 하에서 다양한 강건한 학습 알고리즘이 어떻게 성능을 내는가?
• RQ2 다른 맥락을 가진 데이터 서브셋 간의 갈등하는 훈련 신호를 체계적으로 정량화하고 시각화할 수 있는가?
• RQ3 경험적 리스크 최소화는 중간 정도의 이탈과 큰 이탈 하에서 모두 경쟁력 있는가?
• RQ4 모델 일반화에 가장 기여하거나 기여도가 낮은 데이터 서브셋은 무엇이며, 그 이유는 무엇인가?
• RQ5 MetaShift는 훈련 과정에서 유도된 편향이나 비의도적인 상관관계(예: 실내/실외 맥락 의존성)를 드러낼 수 있는가?

주요 결과

• 경험적 리스크 최소화(ERM)는 중간 정도의 분포 이탈 하에서 가장 우수한 성능을 기록하며, 현실적인 설정에서 강력한 베이스라인으로 남아 있음을 시사한다.
• 큰 분포 이탈 하에서는 어떤 강건한 학습 방법도 일관되게 다른 방법을 앞서지 못함을 확인하여, 도메인 일반화 문제가 여전히 중요한 열린 과제임을 시사한다.
• 공유하는 비의도적 특징을 가진 서브셋 간에 훈련 갈등이 흔히 발생한다. 예를 들어 실내 고양이 서브셋과 실내 개 서브셋은 실내 맥락을 공유하여 갈등을 일으키며, 이는 모델이 더 일반화 가능한 특징을 학습하도록 유도한다.
• 훈련 기여도가 낮은 서브셋들, 예를 들어 '고양이(faucet)'와 '개(frisbee)'는 너무 쉬워서, 외부 도메인 검증 세트로 사용했을 때 거의 완벽한 정확도(98.1% 및 96.6%)를 기록함을 통해 쉽게 확인된다.
• 유사한 서브셋 간에서도 모델의 행동이 다를 수 있다. 예를 들어 '트럭이 있는 개' 서브셋은 다른 모든 개 서브셋과 갈등을 일으키며, 이는 학습 신호의 높은 비일관성을 보여준다.
• 훈련 갈등의 시각화 결과, 일부 서브셋(예: 실외 개 이미지)은 다른 실외 서브셋보다 실내 서브셋에서의 훈련을 더 유의미하게 활용함을 확인하였으며, 이는 갈등하는 신호가 일반화 성능 향상에 기여할 수 있음을 시사한다.