[논문 리뷰] Improving robustness against common corruptions by covariate shift adaptation

Steffen Schneider, Evgenia Rusak외 4명|arXiv (Cornell University)|2020. 06. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 61인용 수 161

한 줄 요약

이 논문은 라벨이 없는 손상 이미지에 대한 배치 정규화 통계의 적응이 다양한 모델에서 일반 손상에 대한 내구성을 크게 향상시키며, 평가 변형과 간단한 Wasserstein 거리 기반 분석을 제안한다.

ABSTRACT

Today's state-of-the-art machine vision models are vulnerable to image corruptions like blurring or compression artefacts, limiting their performance in many real-world applications. We here argue that popular benchmarks to measure model robustness against common corruptions (like ImageNet-C) underestimate model robustness in many (but not all) application scenarios. The key insight is that in many scenarios, multiple unlabeled examples of the corruptions are available and can be used for unsupervised online adaptation. Replacing the activation statistics estimated by batch normalization on the training set with the statistics of the corrupted images consistently improves the robustness across 25 different popular computer vision models. Using the corrected statistics, ResNet-50 reaches 62.2% mCE on ImageNet-C compared to 76.7% without adaptation. With the more robust DeepAugment+AugMix model, we improve the state of the art achieved by a ResNet50 model up to date from 53.6% mCE to 45.4% mCE. Even adapting to a single sample improves robustness for the ResNet-50 and AugMix models, and 32 samples are sufficient to improve the current state of the art for a ResNet-50 architecture. We argue that results with adapted statistics should be included whenever reporting scores in corruption benchmarks and other out-of-distribution generalization settings.

연구 동기 및 목표

• 라벨이 없는 손상 데이터가 이용 가능할 때 강인성 벤치마크가 실제 세계 성능을 과소평가할 수 있음을 제시한다.
• 깨끗한 이미지에서 손상된 이미지로의 공변 편이 이동을 감소시키기 위해 배치 정규화 통계의 비지도 적응을 제안한다.
• 다양한 아키텍처와 데이터셋에서 강인성 향상을 입증한다.
• 적응에 필요한 샘플 수에 대한 실용적 지침을 제공한다.
• 공변 편이 이동을 Wasserstein 거리로 연결하는 지표 및 이론적 통찰을 도입한다.

제안 방법

• 라벨이 없는 손상된 샘플에서 대상 통계를 계산하고 이를 N이라는 의사 샘플 크기 매개변수와 함께 학습 통계와 결합하여 BN 통계를 적응한다.
• mCE를 ad hoc(n=1), partial(n=8), full(n=50,000) 적응 시나리오로 평가한다.
• 25 아키텍처에서 IN-C에 대해 최신 강인성 방법과 비교한다.
• 소스와 대상 통계 간 Wasserstein 거리를 사용하여 공변 편이와 성능 간의 관계를 분석한다.
• IN-A, ON과 같이 BN 적응이 이익이 없거나 비 BN 기반 강인성이 선호되는 경우를 포함하여 GN/Fixup과 같은 대안과 비교한다.
• 적응 파라미터와 공변 편이로 인한 감소를 연결하는 간단한 경계/모형을 제공한다.

실험 결과

연구 질문

• RQ1 라벨이 없는 손상 데이터에 대한 배치 정규화 통계의 적응이 다양한 아키텍처에서 일반 손상에 대한 강인성을 향상시키는가?
• RQ2 적응 데이터의 양(N 및 샘플 수)이 강인성 향상에 어떤 영향을 미치는가?
• RQ3 ImageNet-C를 넘어서는 다양한 손상 유형 및 데이터세트에서도 개선이 일관적인가?
• RQ4 BN 통계로 포착된 공변 편이가 소스와 대상 분포 간의 Wasserstein 거리로 특징지어지고 예측될 수 있는가?
• RQ5 BN 적응이 실패하거나 대안 정규화 방식과 비교해 저조한 성능을 보이는 시나리오는 어떤 것이 있는가?

주요 결과

모델	IN-C mCE 비적응	IN-C mCE 부분적 적응	IN-C mCE 전체 적응	∆ 적응 (mCE)	Top-1 비적응	Top-1 부분 적응	Top-1 전체 적응	∆ 적응 (Top-1)
Vanilla ResNet-50	76.7	65.0	62.2	-14.5	39.2	48.6	50.7	+11.5
SIN	69.3	61.5	59.5	-9.8	45.2	51.6	53.1	+7.9
ANT	63.4	56.1	53.6	-9.8	50.4	56.1	58.0	+7.6
DeepAug+AM	53.6	48.4	45.4	-8.2	58.1	62.2	64.5	+6.4
DeepAug+AM+RNXt101	44.5	40.7	38.0	-6.6	65.2	68.2	70.3	+5.1

• BN 통계 적응은 모델 25개군에 걸쳐 mCE에서 상당한 강인성 향상을 가져오며 보통 약 10포인트 정도의 개선을 보인다.
• Vanilla ResNet-50의 경우, 완전 적응에서 mCE가 76.7%에서 62.2%로, 부분적 적응에서 65.0%로 감소한다.
• 한 샘플로도 성능이 향상될 수 있다(예: N≈0, n=1에서 mCE가 76.7%에서 71.4%로 개선).
• ResNet-50에 대해 IN-C에서의 최첨단 강인성을 BN 적응으로 능가할 수 있으며, 예를 들어 DeepAugment+AugMix는 비적응 시 53.6%에서 45.4%의 mCE로 개선된다.
• 25개 모델 계열에 걸쳐 BN 적응은 일관되게 mCE를 개선하며, 일반적으로 약 10포인트 수준의 개선이 나타난다; 더 큰 사전학습(예: IG-3.5B)은 적응의 필요성을 줄이거나 제거할 수 있다.
• 소스와 대상 BN 통계 간의 Wasserstein 거리는 적응 전후 모두 상위 1(Top-1) 오류와 상관관계가 있어 비지도식 성능 추정이 가능하다.
• 데이터세트에 따라 적응 효과가 다르다; IN-A 및 ObjectNet의 경우 BN 적응이 덜 효과적이며 학습된 특징이 다르게 이동하거나 BN이 아닌 강인성이 더 유리한 경우가 있다.