[논문 리뷰] Test-time Batch Normalization

Tao Yang, Shenglong Zhou외 3명|arXiv (Cornell University)|2022. 05. 20.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 테스트 시점 배치 정규화 레이어인 GpreBN을 제안하며, 훈련 시 스타일의 기울기 역전파를 유지하고 데이터셋 수준의 통계를 사용하여 데이터 분포 이탈에 대한 강건성을 향상시킨다. 추론 중에 엔트로피 최소화를 통해 애핀 매개변수를 최적화함으로써 GpreBN은 도메인 일반화 및 강건성 벤치마크 양쪽에서 최신 기술 수준(SOTA) 성능을 달성하여 Tent 및 T3A와 같은 이전 방법들을 모두 능가한다.

ABSTRACT

Deep neural networks often suffer the data distribution shift between training and testing, and the batch statistics are observed to reflect the shift. In this paper, targeting of alleviating distribution shift in test time, we revisit the batch normalization (BN) in the training process and reveals two key insights benefiting test-time optimization: $(i)$ preserving the same gradient backpropagation form as training, and $(ii)$ using dataset-level statistics for robust optimization and inference. Based on the two insights, we propose a novel test-time BN layer design, GpreBN, which is optimized during testing by minimizing Entropy loss. We verify the effectiveness of our method on two typical settings with distribution shift, i.e., domain generalization and robustness tasks. Our GpreBN significantly improves the test-time performance and achieves the state of the art results.

연구 동기 및 목표

• 딥 러닝 모델에서 훈련과 테스트 간의 데이터 분포 이탈 문제를 해결하기 위해.
• 효과적인 테스트 시점 적응을 위한 배치 정규화 레이어 설계 원칙을 규명하기 위해.
• 추론 중에 기울기 역전파의 정확성을 유지하고 안정적인 데이터셋 수준의 통계를 활용하기 위해.
• 도메인 일반화 및 강건성과 같은 다양한 분포 이탈 시나리오에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 기울기 역전파의 형태와 정규화 통계 선택을 분리하는 새로운 배치 정규화 레이어인 GpreBN을 제안한다.
• 테스트 시점 최적화 중에 배치 통계를 동적으로 계산함으로써 훈련 시 관찰된 인스턴스 간 기울기 종속성을 유지한다.
• 정규화에 데이터셋 수준의 누적 통계(예: 이동 평균)를 사용함으로써 추론 중 안정성과 강건성을 향상시킨다.
• 테스트 시점 배치 데이터에 대해 엔트로피 최소화를 통해 GpreBN의 애핀 매개변수(γ, β)를 최적화한다.
• 계산 그래프나 기울기 흐름을 변경하지 않고도 다양한 통계(예: 소스, 타겟, 타겟 평균)를 자유롭게 사용할 수 있도록 한다.
• rT3A를 도입하여 타겟 통계를 초기 레이어에만 선택적으로 적용하는 보완적인 분류기 적응 기법을 제안하며, 이는 강건성 작업에서의 분포 이탈 원인이 특징 추출기에서 기인한다는 가설을 검증한다.

실험 결과

연구 질문

• RQ1 훈련 시점 기울기 역전파의 형태를 유지하는 것이 테스트 시점 적응 성능에 어떤 영향을 미치는가?
• RQ2 데이터셋 수준의 통계를 사용하면 분포 이탈 상황에서 테스트 시점 적응의 강건성이 향상되는가?
• RQ3 Tent와 같은 기존 테스트 시점 방법들이 강건성 작업에서는 성공했지만 도메인 일반화 작업에서는 실패하는 이유는 무엇인가?
• RQ4 분포 이탈의 위치(예: 초기 레이어 대비 후기 레이어)가 테스트 시점 적응의 효과성에 얼마나 큰 영향을 미치는가?
• RQ5 도메인 일반화와 강건성 작업 양쪽 모두에서 효과적인 통합된 테스트 시점 적응 방법을 개발할 수 있는가?

주요 결과

• GpreBN은 도메인 일반화 작업에서 최신 기술 수준 성능을 달성하여 CIFAR-10-C에서 평균 손상 오차(mCE)를 8.9로 낮추었으며, Tent(13.2)와 T3A(14.4)를 모두 능가한다.
• VLCS 데이터셋에서 타겟 통계를 사용한 GpreBN은 상위-1 오차 13.1%를 기록하여 Tent(13.8)과 BN에 타겟 통계를 적용한 경우(13.8)보다 뚜렷이 뛰어나다.
• GpreBN은 도메인 일반화와 강건성 양쪽 모두에서 뛰어난 성능를 유지하는 반면, Tent은 도메인 일반화에서 실패하고 T3A는 강건성에서 성능이 열등하다.
• 제거 실험 결과, 인스턴스 간 기울기 역전파를 유지하고 데이터셋 수준의 통계를 사용하는 것이 성능 향상에 핵심적임을 확인하였다.
• rT3A 변종은 초기 레이어에만 타겟 통계를 적용할 경우 성능 저하가 최소화됨(14.6 vs. 14.4)을 보여주며, 강건성 이탈 원인이 초기 특징 추출기에서 기인한다는 가설을 뒷받침한다.
• 모델이 소스 도메인에서 미세조정된 경우에도 타겟 통계가 실패할 수 있음에도 불구하고, GpreBN은 효과적으로 작동함을 보여주며, 미세조정에 의한 분포 이탈에 대한 강건성을 입증한다.