[논문 리뷰] Test-time Batch Statistics Calibration for Covariate Shift

Fuming You, Jingjing Li외 1명|arXiv (Cornell University)|2021. 10. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 61인용 수 23

한 줄 요약

이 논문은 분류 성능을 유지하면서 분포 이탈을 완화하기 위해 배치 정규화 레이어에서 소스 및 타겟 통계를 혼합하는 테스트 시점 배치 통계 校정 방법인 α-BN을 제안한다. 이미지 분류, 세분화, 오염에 대한 강건성 분야에서 12개 데이터셋에서 최신 기술을 초월하는 성능을 달성하며, 어떤 훈련 없이도 GTA5→Cityscapes에서 mIoU를 15.5% 향상시킨다.

ABSTRACT

Deep neural networks have a clear degradation when applying to the unseen environment due to the covariate shift. Conventional approaches like domain adaptation requires the pre-collected target data for iterative training, which is impractical in real-world applications. In this paper, we propose to adapt the deep models to the novel environment during inference. An previous solution is test time normalization, which substitutes the source statistics in BN layers with the target batch statistics. However, we show that test time normalization may potentially deteriorate the discriminative structures due to the mismatch between target batch statistics and source parameters. To this end, we present a general formulation $α$-BN to calibrate the batch statistics by mixing up the source and target statistics for both alleviating the domain shift and preserving the discriminative structures. Based on $α$-BN, we further present a novel loss function to form a unified test time adaptation framework Core, which performs the pairwise class correlation online optimization. Extensive experiments show that our approaches achieve the state-of-the-art performance on total twelve datasets from three topics, including model robustness to corruptions, domain generalization on image classification and semantic segmentation. Particularly, our $α$-BN improves 28.4\% to 43.9\% on GTA5 $ ightarrow$ Cityscapes without any training, even outperforms the latest source-free domain adaptation method.

연구 동기 및 목표

• 테스트 시점 정규화(T-BN)의 한계를 해결하기 위해, 소스 파ameters와 타겟 배치 통계 간의 불일치로 인해 분류 성능을 유지하는 데 어려움을 겪을 수 있는 문제를 다루기 위해.
• 목표 데이터가 사전에 확보되지 않은 도메인 일반화(DG) 및 테스트 시점 적응(TTA) 환경에서 효과적으로 작동하는 실용적이고 훈련이 없는 적응 방법을 개발하기 위해.
• 추론 중 소스 및 타겟 통계를 균형 있게 조합하여 분포 이탈 상황에서도 모델의 강건성과 성능을 유지하기 위해.
• 쌍별 클래스 상관관계를 활용하는 통합 온라인 최적화 프레임워크인 Core를 제안하기 위해.

제안 방법

• 학습 가능한 또는 고정된 하이퍼파라미터 α를 사용해 배치 정규화 레이어에서 소스 및 타겟 배치 통계를 선형으로 혼합하는 일반적인 공식인 α-BN을 도입한다.
• 추론 중에 α-BN을 적용하여 배치 정규화 통계를 校정함으로써 도메인 이탈을 줄이고, 소스 훈련 모델의 분류 능력을 유지한다.
• 추론 중에 예측을 개선하기 위해 쌍별 클래스 상관관계를 온라인 최적화하는 Core 프레임워크를 설계한다.
• 클래스 간 관계를 활용하여 배치 간 일관성 있고 분류 능력이 뛰어난 표현을 장려하는 새로운 손실 함수를 Core 내부에 사용한다.
• 추가 훈련이나 아키텍처 변경 없이 표준 경험 리스크 최소화(ERM) 모델에 α-BN을 통합한다.
• 다양한 데이터셋에서 최소한의 계산 오버헤드로 성능을 평가하여 효율성과 효과성을 입증한다.

실험 결과

연구 질문

• RQ1 재훈련 없이 추론 중 소스 및 타겟 배치 통계를 혼합하면 분포 이탈 상황에서 모델 일반화 능력이 향상되는가?
• RQ2 α-BN은 소스 훈련 중에 학습한 분류 성능을 유지하면서도 새로운 도메인에 적응하는 데 효과적인가?
• RQ3 쌍별 클래스 상관관계 최적화에 기반한 제안된 Core 프레임워크는 기존 방법에 비해 테스트 시점 적응 성능을 어떻게 향상시키는가?
• RQ4 α-BN은 다양한 작업 및 데이터셋에서 테스트 시점 배치 크기와 하이퍼파라미터 α의 변화에 대해 강건한가?
• RQ5 α-BN은 LogME 점수로 측정했을 때, 파라미터 조정을 위한 후속 피니튜닝을 위한 표현 품질을 향상시키는가?

주요 결과

• GTA5→Cityscapes에서 α-BN은 어떤 훈련 없이도 mIoU를 15.5% 향상시켜 43.9%에서 59.4%로 개선하며, 최신의 소스 없는 도메인 적응 방법을 능가한다.
• 이미지 분류, 세분화, 오염에 대한 강건성의 세 가지 주제에 걸쳐 12개의 다양한 데이터셋에서 α-BN은 최고 성능을 달성한다.
• 이 방법은 이미지당 추가로 0.0158초의 추론 시간만 증가시켜(80.94s 대비 72.84s) 높은 효율성을 보여준다.
• α-BN은 배치 크기와 하이퍼파라미터 α에 대해 강건하며, 세분화 작업에서는 α=0.7, 분류 작업에서는 α=0.9에서 최적 성능을 낸다.
• 모든 작업에서 맥널리의 검정(p < 0.05)을 통해 통계적 유의성을 확인하여 ERM 기반 모델에 비해 성능 향상이 유의미하다고 입증한다.
• α-BN 표현의 LogME 점수는 소스 및 T-BN보다 높아, α-BN이 피니튜닝을 위한 더 나은 표현을 발견함을 시사한다.