[논문 리뷰] Adapting ImageNet-scale models to complex distribution shifts with self-learning

Evgenia Rusak, Steffen Schneider외 4명|arXiv (Cornell University)|2021. 04. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 47인용 수 9

한 줄 요약

이 논문은 복잡한 분포 이탈 상황에서 ImageNet 규모 데이터셋에 대해 강건성을 크게 향상시키는 자기학습 프레임워크를 제안한다. 빈번한 교사-학생 갱신, 몇몇 애페인 매개변수만 미세조정하고, 레이블 노이즈를 완화하기 위해 강건한 분류 기법을 적용함으로써, ImageNet-C(22.0% mCE), ImageNet-R(17.4% 오차), ImageNet-A(14.8% 오차)에서 최신 기술 수준(SOTA) 성능을 달성하며, 이는 이전의 강건화 기법과 조합할 경우 추가로 향상된다.

ABSTRACT

While self-learning methods are an important component in many recent domain adaptation techniques, they are not yet comprehensively evaluated on ImageNet-scale datasets common in robustness research. In extensive experiments on ResNet and EfficientNet models, we find that three components are crucial for increasing performance with self-learning: (i) using short update times between the teacher and the student network, (ii) fine-tuning only few affine parameters distributed across the network, and (iii) leveraging methods from robust classification to counteract the effect of label noise. We use these insights to obtain drastically improved state-of-the-art results on ImageNet-C (22.0% mCE), ImageNet-R (17.4% error) and ImageNet-A (14.8% error). Our techniques yield further improvements in combination with previously proposed robustification methods. Self-learning is able to reduce the top-1 error to a point where no substantial further progress can be expected. We therefore re-purpose the dataset from the Visual Domain Adaptation Challenge 2019 and use a subset of it as a new robustness benchmark (ImageNet-D) which proves to be a more challenging dataset for all current state-of-the-art models (58.2% error) to guide future research efforts at the intersection of robustness and domain adaptation on ImageNet scale.

연구 동기 및 목표

• 복잡한 분포 이탈 상황에서 자기학습 방법이 ImageNet 규모 데이터셋에 어떻게 작용하는지 평가하는 것. 이는 강건성 연구의 핵심이지만, 이 맥락에서는 다루지 않은 분야이다.
• 대규모 비전 모델에서 복잡한 분포 이탈을 효과적으로 다룰 수 있도록 자기학습을 가능하게 하는 핵심 요소를 규명하는 것.
• ImageNet-C, ImageNet-R, ImageNet-A와 같은 표준 강건성 벤치마크에서 최신 기술 수준의 성능을 향상시키는 것.
• 2019년 시각 도메인 적응 챌린지 데이터셋을 기반으로 더 도전적인 새로운 벤치마크인 ImageNet-D를 제안하여 향후 연구를 이끌 것.

제안 방법

• 자기학습의 안정성과 속도를 높이기 위해 교사-학생 네트워크 간에 빈번한 가중치 갱신을 구현하는 것.
• 과적합을 줄이고 일반화 성능을 향상시키기 위해 네트워크 전반에 분포된 몇몇 애페인 매개변수(예: 배치 정규화 레이어)만을 대상으로 미세조정하는 것.
• 가짜 레이블의 노이즈 영향을 줄이기 위해 레이블 스무딩 및 일관성 정규화와 같은 강건한 분류 기법을 적용하는 것.
• 교사가 생성한 가짜 레이블을 사용하여 학생 네트워크를 훈련하고, 다중 자기학습 라운드를 통해 반복적으로 개선하는 것.
• 기존의 강건화 기법과 제안된 자기학습 전략을 통합하여 성능을 추가로 향상시키는 것.
• 2019년 시각 도메인 적응 챌린지 데이터셋의 일부를 재사용하여, 더 복잡한 도메인 이탈을 반영하는 새로운 벤치마크인 ImageNet-D를 제작하는 것.

실험 결과

연구 질문

• RQ1 복잡한 분포 이탈 상황에서 ImageNet 규모 데이터셋에서 효과적인 자기학습을 가능하게 하는 핵심 요소는 무엇인가?
• RQ2 빈번한 교사-학생 갱신과 선택적 매개변수 미세조정이 모델의 강건성과 수렴에 어떤 영향을 미치는가?
• RQ3 강건한 분류 기법이 자기학습에서 노이즈가 있는 가짜 레이블로 인한 성능 저하를 어느 정도 완화할 수 있는가?
• RQ4 자기학습만으로도 상위-1 오차를 줄여, 다른 방법의 추가 향상이 거의 없어지는 수준에 도달할 수 있는가?
• RQ5 제안된 ImageNet-D 벤치마크는 기존의 ImageNet 강건성 벤치마크보다 얼마나 더 어려운가?

주요 결과

• 제안된 자기학습 프레임워크는 ImageNet-C에서 최신 기술 수준인 22.0% 평균 손상 오차(mCE)를 달성하여 이전 방법들을 크게 능가한다.
• ImageNet-R에서는 오차를 17.4%로 줄여 스타일 및 객체 카테고리 이탈 상황에서도 강력한 일반화 능력을 보여준다.
• ImageNet-A에서는 오차율이 14.8%에 머물러, 공격적 및 희귀 객체 이탈에 대해 매우 높은 강건성을 보인다.
• 자기학습과 기존 강건화 기법을 조합하면 성능 향상이 추가로 이루어져 상호 보완적인 강점이 있음을 시사한다.
• 새로운 ImageNet-D 벤치마크는 최신 기술 수준의 모델들에서 평균 58.2%의 상위-1 오차율을 보이며, 이는 이전의 벤치마크보다 훨씬 더 어려운 것을 시사한다.
• 자기학습만으로도 오차가 줄어들어, 다른 방법의 추가 향상이 거의 없어지는 수준에 도달했음을 보여, 현재의 벤치마크에서 성능의 정점에 도달했음을 시사한다.