[논문 리뷰] Prepare for the Worst: Generalizing across Domain Shifts with Adversarial Batch Normalization

Manli Shu, Zuxuan Wu외 2명|arXiv (Cornell University)|2021. 05. 04.

Adversarial Robustness in Machine Learning참고 문헌 39인용 수 6

한 줄 요약

이 논문은 이미지 픽셀이 아닌 배치 정규화 통계를 적대적으로 교란하는 방식으로 도메인 분포 변화에 대한 모델의 강건성을 향상시키는 Adversarial Batch Normalization (AdvBN)을 제안한다. AdvBN은 ImageNet-C에서 +8.1%, Stylized-ImageNet에서 +6.7%, ImageNet-Instagram에서 +3.9% 향상시켜 분포 변화에 대한 강력한 일반화 성능을 입증한다.

ABSTRACT

Adversarial training is the industry standard for producing models that are robust to small adversarial perturbations. However, machine learning practitioners need models that are robust to other kinds of changes that occur naturally, such as changes in the style or illumination of input images. Such changes in input distribution have been effectively modeled as shifts in the mean and variance of deep image features. We adapt adversarial training by adversarially perturbing these feature statistics, rather than image pixels, to produce models that are robust to distributional shifts. We also visualize images from adversarially crafted distributions. Our method, Adversarial Batch Normalization (AdvBN), significantly improves the performance of ResNet-50 on ImageNet-C (+8.1%), Stylized-ImageNet (+6.7%), and ImageNet-Instagram (+3.9%) over standard training practices. In addition, we demonstrate that AdvBN can also improve generalization on semantic segmentation.

연구 동기 및 목표

• 이미지 스타일이나 조명 변화와 같은 자연스러운 분포 변화에 대한 딥 모델의 강건성 문제를 해결하기 위해.
• 도메인 특화 데이터 증강을 요구하지 않고 도메인 분포 변화에 대한 일반화 성능을 향상시키기 위해.
• 원시 픽셀이 아닌 특징 수준의 통계를 대상으로 하여 강건성을 향상시키는 학습 방법을 개발하기 위해.
• 다양한 벤치마크 데이터셋에서 성능 향상에 기여하는 배치 정규화 통계에 대한 적대적 교란의 효과를 입증하기 위해.

제안 방법

• 적대적 훈련 기법을 이미지 픽셀이 아닌 배치 정규화 레이어의 누적 평균과 분산을 교란하는 데로 응용한다.
• 학습 중에 딥 피처의 통계에 적대적 노이즈를 도입하여 분포 변화를 시뮬레이션한다.
• 모델의 예측 오차를 최대화할 수 있도록 배치 정규화 통계를 교란함으로써 강건성을 유도한다.
• 표준 훈련 파이프라인에 최소한의 아키텍처 변경으로 통합 가능하며, ResNet 및 기타 모델과 호환된다.
• 적대적으로 생성된 분포의 이미지 시각화를 통해 유도된 분포 변화를 해석하는 데 사용한다.

실험 결과

연구 질문

• RQ1 배치 정규화 통계에 대한 적대적 교란이 도메인 분포 변화에 대한 모델의 강건성을 향상시킬 수 있는가?
• RQ2 AdvBN은 표준 훈련과 픽셀 수준의 적대적 훈련에 비해 분포 변화를 다룰 때 어떻게 성능을 발휘하는가?
• RQ3 AdvBN은 의미 분할과 같은 후속 작업에서 일반화 성능을 얼마나 향상시키는가?
• RQ4 배치 통계의 적대적 교란이 어떤 종류의 분포 변화를 유도하는가?

주요 결과

• AdvBN은 표준 훈련 대비 ResNet-50의 ImageNet-C 정확도를 8.1% 향상시켰다.
• Stylized-ImageNet에서 AdvBN은 6.7%의 정확도 향상을 달성하여 스타일 변화에 대한 강력한 강건성을 보였다.
• ImageNet-Instagram에서는 3.9% 성능 향상을 기록하여 실제 도메인 분포 변화에 효과적임을 입증했다.
• 이 방법은 이미지 분류를 넘어서 의미 분할 작업에서도 성능 향상을 이끌어냈다.