[논문 리뷰] BREEDS: Benchmarks for Subpopulation Shift

Shibani Santurkar, Dimitris Tsipras외 1명|arXiv (Cornell University)|2020. 08. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 71인용 수 19

한 줄 요약

이 논문은 ImageNet의 클래스 계층을 활용하여 제어 가능하고 현실적인 분포 이탈을 유도함으로써 하위집단 이탈에 대한 모델의 강건성 평가를 위한 BREEDS라는 벤치마크 세트를 소개한다. 표준 모델이 훈련 중에 볼 수 없었던 하위집단에서 정확도가 크게 떨어지는 것으로 나타났으며, 일부 훈련 시기 강건성 기법은 약간의 개선을 제공하지만, 이 감도를 완전히 보완하지 못함을 보여주며, 현재의 강건성 평가에 중요한 격차가 있음을 시사한다.

ABSTRACT

We develop a methodology for assessing the robustness of models to subpopulation shift---specifically, their ability to generalize to novel data subpopulations that were not observed during training. Our approach leverages the class structure underlying existing datasets to control the data subpopulations that comprise the training and test distributions. This enables us to synthesize realistic distribution shifts whose sources can be precisely controlled and characterized, within existing large-scale datasets. Applying this methodology to the ImageNet dataset, we create a suite of subpopulation shift benchmarks of varying granularity. We then validate that the corresponding shifts are tractable by obtaining human baselines for them. Finally, we utilize these benchmarks to measure the sensitivity of standard model architectures as well as the effectiveness of off-the-shelf train-time robustness interventions. Code and data available at https://github.com/MadryLab/BREEDS-Benchmarks .

연구 동기 및 목표

• 훈련 중에 존재하지 않는 데이터 하위집단에 대한 모델 일반화 능력을 평가할 수 있는 벤치마크의 부족을 해결하기 위해.
• ImageNet과 같은 기존 대규모 데이터셋 내에서 제어 가능하고 현실적인 하위집단 이탈을 가능하게 하는 방법론을 개발하기 위해.
• 인간 기준 성능을 통해 이러한 이탈이 현실적인 일반화 과제임을 검증하기 위해.
• 표준 모델과 즉시 사용 가능한 강건성 개선 기법들이 하위집단 이탈에 대해 얼마나 강건한지 평가하기 위해.
• 현재의 강건성 기법이 이 특정 유형의 분포 이탈에 대해 제한적인 개선만을 제공함을 보여주기 위해.

제안 방법

• ImageNet의 기존 클래스 계층(WordNet)을 활용하여 의미적으로 일관된 하위집단으로 초급군을 정의한다.
• 훈련 및 테스트 하위집단을 서로 겹치지 않게 하여 하위집단 이탈을 구성한다. 예를 들어, 품종 풍선개와 테리종을 훈련에 사용하고, 달마티안을 테스트에 사용한다.
• 의미적으로 유사한 클래스를 묶어 하위집단의 시각적 일관성을 확보하기 위해 WordNet 계층을 수정한다.
• 이상이 의미 있고 비트레ivial하지 않음을 확인하기 위해 인간 실험을 수행하여 이 이탈이 현실 세계의 일반화 과제를 반영하고 있음을 검증한다.
• 이 벤치마크를 적용하여 표준 모델과 훈련 시기 강건성 기법(예: 적대적 훈련, 노이즈 증강, 스타일화된 데이터 등)을 평가한다.
• 목표 도메인 데이터에 대해 최종 선형 레이어를 재학습하여 도메인 적응 잠재력 평가를 수행한다.

실험 결과

연구 질문

• RQ1 모델이 훈련 중에 노출되지 않은 하위집단에 대해, 시각적·의미적으로 일관된 하위집단이라도 얼마나 잘 일반화하는가?
• RQ2 데이터 손상이나 적대적 예제를 대비해 설계된 기존의 강건성 훈련 기법들이 하위집단 이탈에 대한 일반화를 향상시킬 수 있는가?
• RQ3 목표 도메인 데이터에 대해 마지막 레이어를 미세조정함으로써 하위집단 이탈로 인한 성능 손실을 얼마나 회복할 수 있는가?
• RQ4 인간 성능을 통해 유도된 하위집단 이탈이 현실적이며 비트레ivial한가?
• RQ5 원래 분포에서의 모델 정확도가 하위집단 이탈에 대한 강건성과 어떻게 관련이 있는가?

주요 결과

• ImageNet에서 훈련된 모델은 하위집단 이탈 벤치마크에서 심각한 성능 저하를 보이며, 원래 분포에서 90% 이상의 정확도를 기록했지만 Non-living-26 벤치마크에서는 목표 분포에서 최소 41.8%까지 정확도가 떨어졌다.
• 인간 성능은 높은 편이었으며(예: Living-17에서 85.96%), 이는 모델에 비해 이 이탈이 비트레ivial하지만 인간에게는 어려운 과제임을 시사하며, 강건성 격차를 드러낸다.
• 원래 분포에서 높은 정확도를 기록한 모델일수록 하위집단 이탈에 더 강건한 경향이 있어, 내부 분포 성능과 외부 분포 일반화 능력 간의 상관관계가 있음을 시사한다.
• 적대적 훈련과 기타 증강 기법(예: 삭제 노이즈, 가우시안 노이즈)은 강건성에 소량이지만 의미 있는 개선을 제공하지만, 원래 분포 정확도가 떨어지는 경우가 많다.
• 목표 도메인 데이터에 대해 최종 선형 레이어를 재학습함으로써 일부 성능을 회복할 수는 있으나, 원래 정확도를 완전히 복원하지 못함을 보여주며, 특징 수준의 분포 이탈이 여전히 지속됨을 시사한다.
• 현재의 강건성 개선 기법 중 어떤 것도 하위집단 이탈에 대한 민감도를 크게 줄이지 못함을 보여주며, BREEDS가 기존 벤치마크와는 다를 만큼 도전적이고 독립적인 강건성 평가 벤치마크임을 시사한다.