[논문 리뷰] Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift

Zachary Nado, Shreyas Padhy외 4명|arXiv (Cornell University)|2020. 06. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 52인용 수 95

한 줄 요약

논문은 prediction-time batch normalization을 도입하여 예측 시점의 작은 비레이블 배치를 사용해 활성화를 재보정(recalibrate activations), covariate shift 하에서 정확도와 보정(calibration)을 향상시키며 CIFAR-10-C와 ImageNet-C에서 강력한 결과를 보인다.

ABSTRACT

Covariate shift has been shown to sharply degrade both predictive accuracy and the calibration of uncertainty estimates for deep learning models. This is worrying, because covariate shift is prevalent in a wide range of real world deployment settings. However, in this paper, we note that frequently there exists the potential to access small unlabeled batches of the shifted data just before prediction time. This interesting observation enables a simple but surprisingly effective method which we call prediction-time batch normalization, which significantly improves model accuracy and calibration under covariate shift. Using this one line code change, we achieve state-of-the-art on recent covariate shift benchmarks and an mCE of 60.28\% on the challenging ImageNet-C dataset; to our knowledge, this is the best result for any model that does not incorporate additional data augmentation or modification of the training pipeline. We show that prediction-time batch normalization provides complementary benefits to existing state-of-the-art approaches for improving robustness (e.g. deep ensembles) and combining the two further improves performance. Our findings are supported by detailed measurements of the effect of this strategy on model behavior across rigorous ablations on various dataset modalities. However, the method has mixed results when used alongside pre-training, and does not seem to perform as well under more natural types of dataset shift, and is therefore worthy of additional study. We include links to the data in our figures to improve reproducibility, including a Python notebooks that can be run to easily modify our analysis at https://colab.research.google.com/drive/11N0wDZnMQQuLrRwRoumDCrhSaIhkqjof.

연구 동기 및 목표

• 공변량 이동 하에서 테스트 시간에 작은 배치로 예측이 발생하는 prediction-time batch 설정을 동기 부여하고 형식화한다.
• 현재 예측 배치 통계를 사용하여 활성화를 재보정하기 위한 간단하고 효율적인 방법—prediction-time BN—를 제안한다.
• 공변량 이동 벤치마크에서 이미지 및 비이미지 모달리티에 걸쳐 방법을 평가하고 언제 도움이 되는지 또는 실패하는지 분석한다.

제안 방법

• 배치 단위 손실과 위험 최소화를 통해 prediction-time batch 설정을 형식화한다.
• 각 prediction-time 배치에서 재계산된 배치 정규화 통사를 적용한다 (prediction-time BN), 학습 시 고정된 EMA 통계와는 다르게.
• 여러 데이터셋에 걸쳐 prediction-time BN을 vanilla BN, 앙상블, 온도 스케일링, 기타 정규화 변형과 비교한다.
• epsilon의 역할, 재설정할 BN 계층, 사전학습 및 자연스러운 이동과의 상호작용을 이해하기 위한 제거 실험을 제공한다.

실험 결과

연구 질문

• RQ1 재측정된 batch norm 통계가 covariate shift 하에서 보정 및 정확도를 향상시키나?
• RQ2 prediction-time BN은 이미지 및 비이미지 모달리티에서 학습 시 BN 통계와 어떻게 비교되는가?
• RQ3 사전학습 및 자연스러운 데이터 이동을 포함한 한계점과 실패 모드는 무엇인가?
• RQ4 배치 크기, BN 계층 선택 및 정규화 하이퍼파라미터에 대한 방법의 민감도는 어떤가?

주요 결과

• Prediction-time BN은 이동된 데이터의 활성화 분포를 학습 통계와 맞추어 보정과 종종 covariate shift 하에서 정확도를 향상시킨다.
• CIFAR-10-C와 ImageNet-C에서 prediction-time BN은 강력한 보정과 경쟁력 있는 정확도를 제공하며, 추가 데이터 증강 없이 ImageNet-C에서 mCE가 60.28%이다.
• 본 방법은 앙상블과 보완적이며 다양한 예측 배치 크기에서 이득을 유지하며, 비교적 작은 배치 크기(약 100)에서도 상당한 이점을 보인다.
• 사전학습을 사용할 때(예: ImageNet-C의 Noisy Student) 및 더 자연스러운 데이터 이동에서 성능이 저하될 수 있어 효과의 경계 조건을 시사한다.
• 자연스러운 적대적 데이터셋(ImageNet-A)에서 prediction-time BN은 보정을 향상시키고 특정 설정에서 train BN보다 우월할 수 있다.
• ablation 연구는 출력 직전의 정규화 계층만으로는 충분치 않으며 내부 BN 계층을 재정규화하는 것이 더 큰 이득을 준다.