[논문 리뷰] On Batch Normalisation for Approximate Bayesian Inference

Jishnu Mukhoti, Puneet K. Dokania외 2명|arXiv (Cornell University)|2020. 12. 24.

Gaussian Processes and Bayesian Inference참고 문헌 18인용 수 4

한 줄 요약

이 논문은 딥 네ural 네트워크에서 근사 베이지안 추론의 맥락에서 배치 정규화(BN)를 조사하며, 변분 추론에서 증거 하한값(ELBO) 최적해에 BN이 영향을 주지 않음을 보여준다. 이는 몬테카를로 배치 정규화(MCBN)에 치명적인 실패를 드러내며, 미니배치 크기가 증가할수록 지식 기반 불확실성(epistemic uncertainty)이 0으로 수렴하여 모델이 분포 외(OoD) 샘플을 탐지할 수 없게 된다는 점을 규명한다. 저자들은 특히 대규모 데이터셋 점근적 특성 하에서 불확실성 캘리브레이션을 복원하기 위해 미니배치 크기를 변분 파라미터로 간주하는 것을 제안한다.

ABSTRACT

We study batch normalisation in the context of variational inference methods in Bayesian neural networks, such as mean-field or MC Dropout. We show that batch-normalisation does not affect the optimum of the evidence lower bound (ELBO). Furthermore, we study the Monte Carlo Batch Normalisation (MCBN) algorithm, proposed as an approximate inference technique parallel to MC Dropout, and show that for larger batch sizes, MCBN fails to capture epistemic uncertainty. Finally, we provide insights into what is required to fix this failure, namely having to view the mini-batch size as a variational parameter in MCBN. We comment on the asymptotics of the ELBO with respect to this variational parameter, showing that as dataset size increases towards infinity, the batch-size must increase towards infinity as well for MCBN to be a valid approximate inference technique.

연구 동기 및 목표

• 베이지안 신경망을 위한 변분 추론(VI)에서 배치 정규화(BN)의 역할을 분석하기 위해.
• 몬테카를로 배치 정규화(MCBN)가 근사 베이지안 추론 방법으로서의 타당성을 조사하기 위해.
• 큰 미니배치 크기로 적용했을 때 MCBN의 실패 모드를 규명하기 위해.
• MCBN에서 미니배치 크기를 변분 파라미터로 간주하여 원칙적인 수정을 제안하기 위해.
• 대규모 데이터셋 한계 하에서 미니배치 크기와 관련된 ELBO의 점근적 행동을 분석하기 위해.

제안 방법

• 저자들은 BN 레이어를 갖는 베이지안 신경망에 대한 ELBO를 수식적으로 정의하여, BN이 ELBO 목적함수의 최적해를 변경하지 않음을 보였다.
• MCBN를 확률적 근사 방법으로 분석하며, BN의 미니배치 통계량이 모델 불확실성의 원천이 되는 것으로 간주하였다.
• MCBN의 확률성은 유일하게 미니배치 크기에 기인하며, 이는 지식 기반 불확실성의 핵심 원천임을 도출하였다.
• 불확실성 캘리브레이션 최적화를 위해 미니배치 크기를 변분 파라미터로 간주하며, MC 드롭아웃에서 드롭아웃 비율을 다루는 것과 유사하게 접근하였다.
• 상호정보량을 불확실성 지표로 사용하여 CIFAR-10, SVHN, Fashion-MNIST/MNIST 쌍에서 실험적 평가를 수행하였다.
• ELBO의 점근적 행동을 분석하여, MCBN가 유효하기 위해 데이터셋 크기가 증가함에 따라 배치 크기가 증가해야 한다고 보여주었다.

실험 결과

연구 질문

• RQ1 배치 정규화(BN)는 변분 추론에서 증거 하한값(ELBO)의 최적해에 영향을 미치는가?
• RQ2 몬테카를로 배치 정규화(MCBN)는 다양한 미니배치 크기에서 지식 기반 불확실성을 신뢰성 있게 포착할 수 있는가?
• RQ3 왜 MCBN에서 지식 기반 불확실성은 배치 크기가 증가함에 따라 0으로 수렴하는가?
• RQ4 MCBN 하에서 데이터셋 크기가 증가할 때 ELBO의 점근적 행동은 어떠한가?
• RQ5 미니배치 크기를 변분 파라미터로 간주함으로써 MCBN의 불확실성 캘리브레이션을 복원할 수 있는가?

주요 결과

• 배치 정규화(BN)는 증거 하한값(ELBO)의 최적해에 영향을 주지 않으며, 이는 BN 레이어가 기본적인 변분 추론 목표를 변경하지 않음을 의미한다.
• MCBN는 미니배치 크기가 증가함에 따라 지식 기반 불확실성을 유지하지 못하며, 1024 및 2048의 배치 크기에서 예측과 사후 분포 간의 상호정보량이 거의 0으로 떨어진다.
• OoD 탐지 작업에서 큰 배치 크기를 사용해 MCBN로 훈련한 모델은 높은 테스트 정확도를 유지하나, 내부 분포와 분포 외 샘플을 구분하는 능력을 상실한다.
• MCBN의 실패 원인은 큰 배치 크기에서 BN 통계량이 결정론적이 되어 불확실성 추정에 기여하는 확률성이 사라지기 때문임을 규명하였다.
• MCBN가 유효한 근사 추론 방법으로 유지되기 위해서는 데이터셋 크기가 무한대에 가까워질수록 미니배치 크기가 데이터셋 크기와 비례해 증가해야 한다고 보여주었다.
• 미니배치 크기를 변분 파라미터로 간주함으로써(예: 드롭아웃 비율을 다루는 방식과 유사하게), MCBN에서 불확실성 캘리브레이션을 복원할 수 있으며, 이는 더 견고한 베이지안 딥 러닝으로 나아가는 길을 제시한다.