[논문 리뷰] Dangers of Bayesian Model Averaging under Covariate Shift

Pavel Izmailov, Patrick K. Nicholson외 2명|arXiv (Cornell University)|2021. 06. 22.

Gaussian Processes and Bayesian Inference참고 문헌 53인용 수 7

한 줄 요약

이 논문은 베이지안 신경망(BNNs)에서 베이지안 모델 평균화(BMA)가 입력 특성 간 선형 종속성(예: MNIST의 사라진 픽셀)이 존재할 경우 사전 분포에서 샘플링된 정규화되지 않은 가중치로 인해 테스트 시의 노이즈가 증폭되어 공변량 이동(covariate shift) 상황에서 성능이 심각하게 떨어질 수 있음을 규명한다. 저자들은 이러한 수직 방향에 대해 저분산 사전분포와 비영 평균 오염에 대해 합 제약 사전분포를 제안하여, 분포 내 성능을 유지하면서도 OOD 일반화 성능을 크게 향상시킨다.

ABSTRACT

Approximate Bayesian inference for neural networks is considered a robust alternative to standard training, often providing good performance on out-of-distribution data. However, Bayesian neural networks (BNNs) with high-fidelity approximate inference via full-batch Hamiltonian Monte Carlo achieve poor generalization under covariate shift, even underperforming classical estimation. We explain this surprising result, showing how a Bayesian model average can in fact be problematic under covariate shift, particularly in cases where linear dependencies in the input features cause a lack of posterior contraction. We additionally show why the same issue does not affect many approximate inference procedures, or classical maximum a-posteriori (MAP) training. Finally, we propose novel priors that improve the robustness of BNNs to many sources of covariate shift.

연구 동기 및 목표

• 고전적 MAP 학습과 비교해도 공변량 이동 하에서 성능이 열 劣한 고정밀도 베이지안 신경망(BNNs)이 허블리안 몬테카를로(HMC) 추론를 통해 왜 성능이 열 劣하는지 조사한다.
• 이러한 실패의 근본 원인을 규명하며, 특히 입력 특성 간 선형 종속성과 BMA에서의 사후 수축 부족이 미치는 영향을 분석한다.
• 분포 이동 상황에서 베이지안 모델 평균화와 고전적 MAP 학습 및 확률적 최적화 간의 강건성 차이를 비교한다.
• 다양한 유형의 공변량 이동, 예를 들어 데이터 오염, 도메인 이동, 허위 상관관계에 대응하는 BNN의 강건성을 향상시키기 위한 새로운 사전분포를 개발한다.
• 이 문제는 비선형 매개변수 모델에서 선형 종속된 특성이 존재할 경우 본질적으로 BMA에 기인하며, 특정 아키텍처나 데이터셋에 국한되지 않는다는 것을 입증한다.

제안 방법

• 선형 종속된 입력 특성(예: MNIST의 사라진 픽셀)이 BNN의 사후 수축과 공변량 이동 하에서의 예측 강건성에 미치는 영향을 분석한다.
• 허블리안 몬테카를로(HMC)를 통한 베이지안 모델 평균화(BMA)와 최대 사후 확률(MAP) 학습 및 SGD 최적화를 비교하며, 가중치 초기화 및 정규화 효과에 중점을 둔다.
• 데이터 다양체의 수직 방향에서 첫 번째 레이어 가중치의 분산을 제약하는 새로운 사전분포를 제안하여 테스트 시 노이즈에 대한 민감도를 감소시킨다.
• 비영 평균 오염 상황에서 성능 저하를 완화하기 위해 첫 번째 레이어 가중치의 합을 제약하는 두 번째 사전분포를 도입한다.
• 제안된 사전분포를 CIFAR-10-C와 MNIST에서 다양한 오염 상황에 대해 평가하며, HMC 기반 BNN과 MAP 및 SGD 기반 베이스라인 간 성능을 비교한다.
• 손실 표면의 시각화 및 분석을 통해 최소값의 평탄도와 오염에 대한 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 고정밀도 HMC 추론을 사용하는 베이지안 신경망이 왜 공변량 이동 하에서 고전적 MAP 학습보다 성능이 열 劣하는가?
• RQ2 입력 특성 간 선형 종속성(예: 사라진 픽셀)이 BNN의 일반화 성능에 어떻게 악영향을 미치는가?
• RQ3 왜 베이지안 모델 평균화가 MAP나 SGD보다 테스트 시 분포 이동에 더 취약한가?
• RQ4 타겟팅된 사전분포를 통해 BNN의 다양한 유형의 공변량 이동에 대한 강건성을 향상시킬 수 있는가? 이는 분포 내 성능 저하 없이 가능할까?
• RQ5 가중치 초기화와 최적화 다이내믹스는 분포 이동 상황에서 BNN의 강건성에 어떤 역할을 하는가?

주요 결과

• 픽셀화 오염이 가해진 CIFAR-10-C 데이터셋에서, HMC를 사용한 ResNet-20 BNN은 분포 내 데이터에서 성능이 뛰어나지만, OOD 성능은 MAP 솔루션보다 25%포인트 낮아(44% 대 69% 정확도) 떨어진다.
• BNN은 공변량 이동에 대해 열악한 강건성을 보이며, 이는 선형 종속된 특성(예: 사라진 픽셀)에 대응하는 가중치가 사전에서 샘플링되어 테스트 시 노이즈가 증폭되기 때문이다. 반면, MAP 정규화는 이러한 가중치를 억제한다.
• MAP 솔루션은 사라진 픽셀 특성에 대해 구조적이고 거의 영인 가중치를 생성하지만, BNN 샘플은 이러한 가중치에서 높은 노이즈를 보이며, 이로 인해 입력 오염에 예측이 민감해진다.
• 작은 가중치 초기화(예: U(−0.001, 0.001))는 SGD의 공변량 이동에 대한 강건성을 향상시키며, 이는 작은 초기 가중치가 허위 특성에 대한 과적합을 방지하는 데 기여함을 시사한다.
• 수직 방향에 대한 저분산 사전분포와 비영 평균 오염에 대한 합 제약 사전분포를 제안함으로써, BNN의 OOD 일반화 성능이 크게 향상된다.
• 손실 표면 분석 결과, 평탄한 최소값(즉, SGD로 발견된 최소값)은 무작위 해보다 오염에 덜 영향을 받으며, 최적의 모드가 점점 증가하는 오염 강도에 대해서도 안정성을 유지한다.