[논문 리뷰] An Empirical Study on Distribution Shift Robustness From the Perspective of Pre-Training and Data Augmentation

Ziquan Liu, Yi Xu외 6명|arXiv (Cornell University)|2022. 05. 25.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 이미지 분류에서 분포 이탈에 대한 강건성에 미치는 사전 훈련과 데이터 증강의 영향을 종합적으로 실증적으로 연구한 최초의 논문이다. 연구 결과, 적절한 데이터 증강과 함께 일반화된 위험 최소화(ERM)가 잘 선택된 사전 훈련 모델과 조합될 경우, 분포 이탈에 대한 최신 기술 수준의 성능을 달성하며, GroupDRO나 CORAL과 같은 특수 알고리즘들은 특정 이탈 유형에 대해 추가로 강건성을 향상시킨다.

ABSTRACT

The performance of machine learning models under distribution shift has been the focus of the community in recent years. Most of current methods have been proposed to improve the robustness to distribution shift from the algorithmic perspective, i.e., designing better training algorithms to help the generalization in shifted test distributions. This paper studies the distribution shift problem from the perspective of pre-training and data augmentation, two important factors in the practice of deep learning that have not been systematically investigated by existing work. By evaluating seven pre-trained models, including ResNets and ViT's with self-supervision and supervision mode, on five important distribution-shift datasets, from WILDS and DomainBed benchmarks, with five different learning algorithms, we provide the first comprehensive empirical study focusing on pre-training and data augmentation. With our empirical result obtained from 1,330 models, we provide the following main observations: 1) ERM combined with data augmentation can achieve state-of-the-art performance if we choose a proper pre-trained model respecting the data property; 2) specialized algorithms further improve the robustness on top of ERM when handling a specific type of distribution shift, e.g., GroupDRO for spurious correlation and CORAL for large-scale out-of-distribution data; 3) Comparing different pre-training modes, architectures and data sizes, we provide novel observations about pre-training on distribution shift, which sheds light on designing or selecting pre-training strategy for different kinds of distribution shifts. In summary, our empirical study provides a comprehensive baseline for a wide range of pre-training models fine-tuned with data augmentation, which potentially inspires research exploiting the power of pre-training and data augmentation in the future of distribution shift study.

연구 동기 및 목표

• 실제 세계의 데이터 이탈 상황에서 사전 훈련과 데이터 증강이 모델의 강건성에 미치는 영향을 조사하는 것.
• 다양한 사전 훈련 방식(감독 학습 대비 자기지도 학습), 아키텍처(ResNet 대비 ViT), 데이터 크기(ImageNet-1k 대비 ImageNet-21k)가 최종 성능에 미치는 영향을 평가하는 것.
• 다양한 학습 알고리즘—ERM, GroupDRO, CORAL, 그리고 데이터 증강 기법—이 다양한 분포 이탈 유형에서의 효과를 평가하는 것.
• 실제 분포 이탈 상황에서 강건성을 향상시키기 위해 사전 훈련 모델과 훈련 전략을 선택할 때 실용적인 통찰과 최선의 실천 방법을 제공하는 것.

제안 방법

• ImageNet-1k 및 ImageNet-21k에서 감독 학습 및 자기지도 학습 방식으로 사전 훈련된 7종의 사전 훈련 모델(ResNets 및 ViTs)을 평가.
• WILDS 및 DomainBed의 다섯 개의 분포 이탈 벤치마크 데이터셋—Waterbirds(비의도적 연관성), FMoW(하위집단 이탈), Camelyon, iWildCam, DomainNet(OOD 일반화)—에서 모델을 미세조정.
• 다섯 가지 학습 알고리즘 적용: ERM, GroupDRO, CORAL, 그리고 두 가지 데이터 증강 전략(기본 mixup 및 그룹 인식 mixup).
• 모델, 데이터셋, 알고리즘, 증강 기법의 모든 조합을 고려해 총 1,330개의 고유한 모델 구성에 대해 훈련 및 평가.
• 표준 평가 지표 사용: 가중 정확도(WG Acc), 평균 정확도(Avg. Acc), OOD 정확도, OOD 및 ID 일반화에 대한 매크로 F1.
• 모델 아키텍처, 사전 훈련 데이터 크기, 알고리즘 선택에 따른 성능 추세 분석을 통해 강건성 향상을 위한 설계 원칙 도출.

실험 결과

연구 질문

• RQ1 사전 훈련 모델의 선택(아키텍처, 사전 훈련 방식, 데이터 크기)이 다양한 분포 이탈 유형에 대한 강건성에 어떻게 영향을 미치는가?
• RQ2 ERM에 데이터 증강을 적용한 결과가 GroupDRO나 CORAL과 같은 특수 알고리즘에 비해 분포 이탈 일반화 성능에서 유사하거나 이를 초월할 수 있는가?
• RQ3 특히 사전 훈련 데이터가 제한된 상황에서 자기지도 학습과 감독 학습 사전 훈련 방식의 성능는 어떻게 비교되는가?
• RQ4 ERM, GroupDRO, CORAL, 또는 데이터 증강 중 어떤 학습 알고리즘이 다양한 이탈 유형과 데이터셋 규모에서 가장 우수한 성능를 보이는가?
• RQ5 실제 분포 이탈 상황에서 강건성을 극대화하기 위해 사전 훈련 모델과 훈련 전략을 선택할 때 고려해야 할 핵심 설계 원칙은 무엇인가?

주요 결과

• 적절히 선택된 사전 훈련 모델과 함께 ERM에 데이터 증강을 적용하면, 모든 다섯 개의 분포 이탈 데이터셋에서 최신 기술 수준의 성능를 달성하며, Waterbirds에서 최고의 테스트 정확도 92.6%와 FMoW에서 94.1%를 기록함.
• Waterbirds와 Camelyon과 같은 소규모 데이터셋에서는 GroupDRO가 다른 알고리즘보다 뛰어난 성능를 보이며, 각각 91.4%와 90.6%의 정확도를 기록함. 이는 제한된 데이터에서 비의도적 연관성을 효과적으로 다루는 데서 그 강점을 발휘함.
• CORAL은 iWildCam(36.0%) 및 DomainNet(44.2%)와 같은 대규모 데이터셋에서 뛰어난 성능를 보이며, 그러나 소규모 데이터셋에서는 특성 통계 추정의 불안정성으로 인해 성능가 낮음.
• ViT 모델은 Waterbirds, FMoW, Camelyon에서 ResNets를 능가하며, 특히 ImageNet-21k에서 사전 훈련된 경우 비의도적 연관성을 완화하는 데 도움이 되는 세밀한 레이블이 유리하게 작용함.
• 소규모 데이터셋인 IN-1k에서는 자기지도 학습 사전 훈련(MoCo-R50 등)이 감독 학습 사전 훈련보다 성능가 뛰어나지만, 대규모 데이터셋인 IN-21k에서 감독 학습 사전 훈련이 전반적으로 더 우수한 강건성을 확보함.
• ImageNet-21k와 같이 더 큰 데이터셋에서 사전 훈련하는 것은 모든 이탈 유형에서 최종 성능 향상에 일관되게 기여하며, 이는 더 큰 스케일의 사전 훈련이 분포 이탈 일반화 능력을 향상시킴을 입증함.