[논문 리뷰] Training on Test Data with Bayesian Adaptation for Covariate Shift

Aurick Zhou, Sergey Levine|arXiv (Cornell University)|2021. 09. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 45인용 수 4

한 줄 요약

이 논문은 분포 이탈 하에서 정확도와 불확실성 校정을 향상시키기 위해 비모수적 테스트 시간 적응 방법인 베이지안 적응(Bayesian Adaptation for Covariate Shift, BACS)을 제안한다. 이는 비모수적 모델을 통해 레이블이 없는 테스트 데이터와 모델 파라미터를 연결함으로써, 근사 베이지안 추론을 통한 정규화된 엔트로피 최소화를 실현한다. 이는 이미지 분류 벤치마크에서 기존 방법들을 능가하며 정확도 및 불확실성 신뢰도 측면에서 뚜렷한 향상을 이룬다.

ABSTRACT

When faced with distribution shift at test time, deep neural networks often make inaccurate predictions with unreliable uncertainty estimates. While improving the robustness of neural networks is one promising approach to mitigate this issue, an appealing alternate to robustifying networks against all possible test-time shifts is to instead directly adapt them to unlabeled inputs from the particular distribution shift we encounter at test time. However, this poses a challenging question: in the standard Bayesian model for supervised learning, unlabeled inputs are conditionally independent of model parameters when the labels are unobserved, so what can unlabeled data tell us about the model parameters at test-time? In this paper, we derive a Bayesian model that provides for a well-defined relationship between unlabeled inputs under distributional shift and model parameters, and show how approximate inference in this model can be instantiated with a simple regularized entropy minimization procedure at test-time. We evaluate our method on a variety of distribution shifts for image classification, including image corruptions, natural distribution shifts, and domain adaptation settings, and show that our method improves both accuracy and uncertainty estimation.

연구 동기 및 목표

• 딥 러닝에서 테스트 시간 분포 이탈 하에서 정확도와 불확실성 校정이 떨어지는 문제를 해결하기 위해.
• 기본 모델에서 조건부 독립이 성립하는 상황에서도 레이블이 없는 테스트 데이터를 의미 있게 활용할 수 있는 원리적인 베이지안 프레임워크를 개발하기 위해.
• 편향된 엔트로피 최소화로 인한 과신뢰를 피하면서도 예측 정확도와 불확실성 추정을 모두 향상시키기 위해.
• 표준 학습 방식에 최소한의 변경만을 요구하고, 테스트 시 학습 데이터에 접근할 수 없더라도 작동하는 실용적인 적응 방법을 제공하기 위해.
• 학습 중에 도출된 주변 분포를 적응 과정에 통합할 경우 일반화 및 校정 성능이 향상됨을 보여주기 위해.

제안 방법

• 분포 이탈 하에서 레이블이 없는 테스트 데이터와 모델 파라미터를 명시적으로 연결하는 베이지안 확률 모델을 제안한다. 이는 레이블이 명확하게 유일한 경우를 가정한다.
• 테스트 데이터 생성 과정이 유일하고 명확한 레이블을 선호하는 조건부 독립 가정을 도입함으로써 모델 파라미터 추론을 가능하게 한다.
• 정규화된 엔트로피 최소화에 해당하는 근사 추론 절차를 유도하며, 과적합을 방지하기 위해 학습 후행 분포에서 유도된 사전 분포 항을 포함한다.
• 테스트 시간 적응 중에 모델의 근사 후행 분포를 정규화 요소로 사용하여, 네트워크가 초기 학습 해법에서 너무 벗어나지 않도록 제약을 둔다.
• 엔트로피 최소화와 학습 데이터로부터 유도된 로그-후행 분포 항을 조합한 단순한 최적화 목표 함수를 적용함으로써 엔드 투 엔드 적응을 실현한다.
• 아키텍처 변경을 최소화하여 전체 네트워크를 적응시키며, 베이지안 정규화를 통해 校정 성능를 유지한다.

실험 결과

연구 질문

• RQ1 분포 이탈 하에서 레이블이 없는 테스트 데이터가 원리적인 베이지안 프레임워크 내에서 모델 파라미터에 대해 의미 있는 정보를 제공할 수 있는가?
• RQ2 분포 이탈 하에서 정확도와 불확실성 校정을 동시에 향상시키는 테스트 시간 적응 방법을 어떻게 설계할 수 있는가?
• RQ3 학습 데이터로부터 유도된 후행 분포를 테스트 시간 적응 시 정규화 요소로 통합할 경우 어떤 영향을 미치는가?
• RQ4 베이지안 정규화는 TENT과 같은 히وري스틱 방법에 비해 강건성과 校정 성능 측면에서 어떻게 비교되는가?
• RQ5 학습 후행 분포 제약이 적응을 제한하는 상황는 언제이며, 언제 유익한가?

주요 결과

• BACS는 ImageNet-R에서 47.31%의 top-1 정확도를 기록하여, TENT(45.75%)와 보통 모델(40.38%)을 포함한 모든 베이스라인을 능가한다.
• ImageNet-C에서 BACS는 NLL을 3.288(보통 모델)에서 2.565로 감소시키고, Brier 점수를 0.7602에서 0.6625로 낮춰, 더 나은 校정과 불확실성 추정을 나타낸다.
• 앙상블 없이도 BACS의 MAP 변형이 TENT를 능가함을 보여, 전체 네트워크를 베이지안 정규화와 함께 적응시키는 것이 부분적 적응보다 더 효과적임을 입증한다.
• 제거 실험 결과, 후행 분포 항을 제거할 경우 일부 오염 상황에서 정확도가 거의 0에 가까워지는 악화된 해를 초래함을 확인하여, 정규화 항이 반드시 필요함을 입증한다.
• SVHN에서 MNIST로의 전이 실험에서는 후행 분포 항을 제거할 경우 성능 향상이 관찰되어, 큰 도메인 이격 상황에서는 학습 후행 분포가 지나치게 제약적일 수 있음을 시사한다.
• ImageNet-R에서 ECE(Expected Calibration Error)는 보통 모델의 0.05667에서 BACS의 0.04270으로 향상되어, 더 나은 불확실성 校정 성능을 보였다.