[논문 리뷰] Measuring Robustness to Natural Distribution Shifts in Image Classification

Rohan Taori, Achal Dave외 4명|arXiv (Cornell University)|2020. 07. 01.

Anomaly Detection Techniques and Applications참고 문헌 99인용 수 170

한 줄 요약

이 논문은 213개의 자연 분포 변화에 걸쳐 204개의 ImageNet 모델을 평가하여 합성 변화에서 학습된 강건성이 실제 세계의 자연 변화로 전이되는지 여부를 살펴보고, 대부분 그렇지 않음을 발견했다; 더 다양한 데이터로 훈련하면 약간은 개선되지만 자연 변화에 대한 강건성은 여전히 미해결 문제이다.

ABSTRACT

We study how robust current ImageNet models are to distribution shifts arising from natural variations in datasets. Most research on robustness focuses on synthetic image perturbations (noise, simulated weather artifacts, adversarial examples, etc.), which leaves open how robustness on synthetic distribution shift relates to distribution shift arising in real data. Informed by an evaluation of 204 ImageNet models in 213 different test conditions, we find that there is often little to no transfer of robustness from current synthetic to natural distribution shift. Moreover, most current techniques provide no robustness to the natural distribution shifts in our testbed. The main exception is training on larger and more diverse datasets, which in multiple cases increases robustness, but is still far from closing the performance gaps. Our results indicate that distribution shifts arising in real data are currently an open research problem. We provide our testbed and data as a resource for future work at https://modestyachts.github.io/imagenet-testbed/ .

연구 동기 및 목표

• 현행 ImageNet 모델이 실제 세계의 변화로 인해 발생하는 자연 분포 변화에 어떻게 대응하는지 평가한다.
• 자연적 시프트에 대한 강건성과 합성 섭동에 대한 강건성 구분한다.
• 표준 정확도와 시프트 하의 강건성 간의 관계를 정확도를 제어하여 정량화한다.
• 자연 시프트에서 성능을 실질적으로 향상시키는 강건성 개입을 식별한다.
• 향후 강건성 연구를 안내할 대규모 공개 테스트베드와 데이터셋을 제공한다.

제안 방법

• 자연 및 합성 시프트를 다루는 213개의 테스트 조건에서 204개의 사전 학습된 ImageNet 모델을 평가한다.
• 각 모델에 대해 표준(S1)과 시프트(S2) 정확도를 갖는 이중 테스트 세트 프레임워크를 정의한다.
• 효과적 강건성: ρ(f) = acc2(f) − β(acc1(f))를 도입한다. 여기서 β는 표준 정확도에서 시프트 정확도로의 기준 매핑이다.
• 개입 영향력을 측정하기 위해 상대적 강건성 τ(f′) = acc2(f′) − acc2(f)로 정의한다.
• 시프트를 자연(Natural: 일관성, 데이터세트 시프트, 적대적 필터링)과 합성(Synthetic: 잡음, 스타일 전이, 적대적 예제)으로 분류한다.
• 합성 강건성 지표와 자연 강건성 사이의 상관관계를 분석하고, 강건성에 대한 학습 데이터 규모의 효과를 평가한다.

실험 결과

연구 질문

• RQ1 합성 분포 시프트에서 얻은 강건성이 자연 분포 시프트에 대한 강건성으로 전이되는가?
• RQ2 합성 강건성을 개선하는 개입이 자연 시프트에서도 강건성을 개선하는가?
• RQ3 더 크고 더 다양한 데이터셋으로의 학습이 자연 시프트에 대한 강건성에 어떤 영향을 미치는가?
• RQ4 표준 정확도와 강건성 이득을 구분하는 지표(효과적 강건성)를 정의할 수 있는가?
• RQ5 강건성 개입의 개선에 가장 예측력이 큰 자연 분포 시프트는 어떤 것인가?

주요 결과

• 테스트베드에서 자연 분포 시프트에 대한 성능 향상을 가져오는 강건성 개입은 대체로 실패한다.
• 현저히 더 다양한 데이터로의 학습은 일부 데이터세트 시프트에 대해 작고 감지 가능한 강건성 이득을 가져오지만, 이득은 데이터 규모에 의존적이며 보편적이지 않다.
• 표준 테스트 세트의 모델 정확도는 자연 분포 시프트에서의 정확도를 강하게 예측한다(여러 시프트에서 높은 r2, 예: ImageNetV2, ObjectNet).
• 적대적 학습(Lp) 모델은 일관성 시프트(ImageNet-Vid-Robust 및 YTBB-Robust)에 대해 눈에 띄는 효과적 강건성을 보이나, 일반적으로 상대 강건성은 음수이며 예외가 몇 가지 있다.
• ImageNet-A는 무릎 현상을 보인다: 표준 정확도가 더 높은 모델이 ImageNet-A에서 더 큰 향상을 보이며, 이는 적대적 필터링이 질적으로 다른 시프트를 만든다는 것을 시사한다.
• 집계된 합성 강건성 지표(이미지 잡음, PGD 공격)는 자연 시프트에서의 효과적 강건성을 약하게 예측한다(상관계수 약 0–0.24).
• 대규모 데이터로 학습한 일부 모델(예: EfficientNet-L2 NoisyStudent, 11k+ 클래스의 ResNet152)은 양의 효과적 강건성을 보이나, 모든 대용량 데이터 모델에 보편적인 것은 아니다.