[논문 리뷰] The Many Faces of Robustness: A Critical Analysis of Out-of-Distribution Generalization

Dan Hendrycks, Steven Basart외 11명|arXiv (Cornell University)|2020. 06. 29.

Advanced Image Processing Techniques인용 수 21

한 줄 요약

이 논문은 실세계 분포 이탈을 철저히 평가하기 위해 네 가지 새로운 실세계 분포 이탈 데이터셋—ImageNet-Renditions, DeepFashion Remixed, StreetView StoreFronts, Real Blurry Images—을 소개한다. 실험을 통해 더 큰 모델과 데이터 증강, 특히 DeepAugment가 실세계 이탈에 대해 유의미하게 성능을 향상시킴을 입증하며, 이는 이전에 합성 기반 벤치마크가 실세계로 일반화되지 않는다는 주장에 도전하는 것으로, 효과적인 증강 기법을 사용할 경우 1000배 더 많은 데이터로 미사전학습된 모델보다도 성능을 뛰어넘을 수 있음을 보여준다.

ABSTRACT

We introduce four new real-world distribution shift datasets consisting of changes in image style, image blurriness, geographic location, camera operation, and more. With our new datasets, we take stock of previously proposed methods for improving out-of-distribution robustness and put them to the test. We find that using larger models and artificial data augmentations can improve robustness on real-world distribution shifts, contrary to claims in prior work. We find improvements in artificial robustness benchmarks can transfer to real-world distribution shifts, contrary to claims in prior work. Motivated by our observation that data augmentations can help with real-world distribution shifts, we also introduce a new data augmentation method which advances the state-of-the-art and outperforms models pretrained with 1000 times more labeled data. Overall we find that some methods consistently help with distribution shifts in texture and local image statistics, but these methods do not help with some other distribution shifts like geographic changes. Our results show that future research must study multiple distribution shifts simultaneously, as we demonstrate that no evaluated method consistently improves robustness.

연구 동기 및 목표

• 실세계 분포 이탈 벤치마크의 다양성과 현실성을 바탕으로 내성성 연구의 공감대 형성과 표준화 평가 체계를 확립하기 위해 다각도의 실세계 분포 이탈 기준을 도입한다.
• 크기 확장된 모델, 자기주의 주의, 데이터 증강, 사전학습 등 기존 내성성 기법들이 실질적인 분포 이탈 상황에서 얼마나 효과적인지 평가한다.
• 이전에 제기된 주장, 즉 합성 기반 내성성 벤치마크가 실세계 이탈으로의 일반화가 불가능하다는 주장을 도전한다.
• 특히 데이터 증강, 특히 DeepAugment가 실세계 내성성에 매우 효과적일 수 있음을 입증하며, 이는 훨씬 더 많은 레이블 데이터로 사전학습된 모델을 뛰어넘을 수 있음을 보여준다.

제안 방법

• ImageNet-Renditions를 도입하여, 이미지넷 클래스의 예술적 재현(예: 그림, 자수)을 담은 30,000장의 테스트 세트를 제공함으로써 스타일 및 텍스처 이탈에 대한 내성성 평가를 가능하게 하였다.
• DeepFashion2 메타데이터를 활용해 가림, 크기, 시점, 줌 조절 등의 제어된 이탈을 포함한 DeepFashion Remixed를 구축하여 분포 이탈의 분리 평가를 가능하게 하였다.
• 실제 구글 스트리트뷰 이미지와 위치, 연도, 카메라 시스템 정보를 포함한 메타데이터를 활용해 StreetView StoreFronts를 개발하여 지리적 및 시간적 분포 이탈 평가를 수행하였다.
• 실제로 흐릿한 이미지 1,000장을 포함한 Real Blurry Images를 구축하여 실세계 흐림에 대한 내성성을 평가하였으며, 이는 합성된 ImageNet-C 오염과 대비된다.
• 이미지 간 신경망을 활용해 다양한 실재감 있는 증강을 생성하는 DeepAugment라는 데이터 증강 기법을 제안하여 내성성 향상을 도모하였다.
• 모든 신규 및 이전의 벤치마크를 대상으로 네 가지 내성성 기법—더 큰 모델, 자기주의 주의, 다양한 데이터 증강, 사전학습—을 평가하여 일반화 능력을 분석하였다.

실험 결과

연구 질문

• RQ1 기존의 회의론과는 반대로, 합성 기반 데이터 증강 기법이 실세계 분포 이탈 상황에서도 내성성을 향상시키는가?
• RQ2 더 큰 모델과 사전학습이 다양한 실세계 분포 이탈 상황에서 일관되게 내성성을 향상시키는가?
• RQ3 합성 기반 벤치마크에서의 내성성 향상 수준이 실세계 자연 발생적 분포 이탈로 일반화되는 정도는 어느 정도인가?
• RQ4 특히 DeepAugment를 포함한 데이터 증강 기법이, 훨씬 더 큰 레이블 데이터셋으로 사전학습된 모델보다 성능을 뛰어넘을 수 있는가?
• RQ5 지리적 또는 카메라 기반 변화와 같은 분포 이탈 상황에서는 현재 내성성 기법들이 일반화되지 못하는 경우가 존재하는가?

주요 결과

• 특히 DeepAugment를 포함한 데이터 증강 기법은 ImageNet-R와 실세계 흐림에 대해 내성성을 향상시키며, 이는 합성 기반 내성성 대책이 실세계 이탈으로 일반화될 수 있음을 입증한다.
• DeepAugment로 훈련된 모델는 1000배 더 많은 레이블 데이터로 사전학습된 모델보다도 성능이 뛰어나, 효과적인 데이터 증강의 힘을 보여준다.
• 더 큰 모델과 다양한 데이터 증강은 텍스처 및 국소 통계 이탈에 대해 일관되게 내성성을 향상시키지만, 지리적 또는 카메라 기반 이탈에는 그렇지 않다.
• ImageNet-C의 합성 오염이 실세계 흐림과 상관관계가 있음을 확인하여, 이전에 이들이 실세계 분포 이탈을 대표하지 못한다는 추측을 반박한다.
• 모든 분포 이탈 상황에서 일관되게 내성성을 향상시키는 단일 기법은 존재하지 않으며, 향후 내성성 연구에서 다중 이탈 평가의 필요성을 강조한다.
• 텍스처 편향 가설이 재확인되었으며, 텍스처 이탈에 대한 내성성을 향상시키는 기법이 ImageNet-R에서도 성능 향상을 이끌어내는 것으로 나타나, 모델이 여전히 텍스처 신호에 민감하게 반응함을 시사한다.