[논문 리뷰] Bayesian Uncertainty Estimation for Batch Normalized Deep Networks

Mattias Teye, Hossein Azizpour외 1명|arXiv (Cornell University)|2018. 02. 18.

Gaussian Processes and Bayesian Inference참고 문헌 27인용 수 105

한 줄 요약

논문은 배치 정규화로 학습하는 것이 근사 베이지안 추론에 해당한다는 것을 보여주고, 아키텍처를 바꾸지 않고도 예측 불확실성을 추정하기 위해 Monte Carlo Batch Normalization (MCBN)을 제안한다.

ABSTRACT

We show that training a deep network using batch normalization is equivalent to approximate inference in Bayesian models. We further demonstrate that this finding allows us to make meaningful estimates of the model uncertainty using conventional architectures, without modifications to the network or the training procedure. Our approach is thoroughly validated by measuring the quality of uncertainty in a series of empirical experiments on different tasks. It outperforms baselines with strong statistical significance, and displays competitive performance with recent Bayesian approaches.

연구 동기 및 목표

• 배치 정규화 트레이닝이 근사 베이지안 추론 과정을 유도한다는 것을 입증한다.
• 아키텍처나 훈련 절차를 변화시키지 않고도 표준 BN 네트워크로부터 의미 있는 불확실성 추정을 가능하게 한다.
• 다수의 데이터셋에서 벤치마크 및 최근의 베이지안 방법과 비교하여 불확실성 품질을 정량적으로 평가한다.
• BN 기반 모델에서 예측 불확실성을 측정하고 해석하는 실용적 지침을 제공한다.

제안 방법

• BN을 BN의 확률적 매개변수에 대한 사전이 있는 변분적 베이지안 근사로 모델링한다.
• 특정 조건에서 VA 목표와 BN 트레이닝 간의 등가를 도출하고 정규화가 KL 발산과 연결됨을 보인다.
• 추론 시 미니배치 통계를 샘플링하여 예측 분포를 얻는 Monte Carlo Batch Normalization (MCBN)을 정의한다.
• BN 유도 무작위성으로 인해 몬테카를로 순전파를 통해 예측 평균과 공분산을 추정한다.
• PLL과 CRPS를 불확실성 지표로 사용하여 회귀 및 이미지 과제에서 MCBN을 MCDO 및 MNF와 비교한다.
• 확률적 전달 패스가 재사용된 BN 블록으로 분할 네트워크에 MCBN을 적용한다.

실험 결과

연구 질문

• RQ1 배치 정규화 트레이닝을 근사 베이지안 추론으로 해석할 수 있는가?
• RQ2 BN 기반 네트워크가 아키텍처나 훈련 워크플로를 바꾸지 않고 신뢰할 만한 예측 불확실성을 제공할 수 있는가?
• RQ3 MCBN이 다른 근사 베이지안 방법과 비교했을 때 불확실성 품질 측면에서 다양한 작업에서 어떤 차이가 있는가?
• RQ4 BN 네트워크에서 의미 있는 불확실성 추정을 얻기 위한 실용적 고려사항(예: 배치 크기, 샘플 수)은 무엇인가?
• RQ5 불확실성 추정이 데이터셋 전반의 실제 예측 오차와 어떻게 상관관계가 있는가?

주요 결과

• MCBN은 회귀 및 분할(segmentation) 과제에서 예측 오차와 상관된 의미 있는 불확실성 추정을 제공한다.
• MCBN은 일반적으로 상수 불확실성 베이스라인(CUBN) 대비 통계적으로 유의한 개선으로 다수의 데이터셋에서 우수한 성능을 보인다.
• MCBN은 불확실성 정량화에 있어 MCDO 및 MNF 베이지안 접근법과 경쟁적이며 종종 동등한 수준이다.
• 더 많은 확률적 순전파를 통해 불확실성 품질이 향상되며, 더 큰 미니배치 사이즈는 일반적으로 BN 기반 불확실성을 향상시킨다.
• 기존의 분할 모델(예: Bayesian SegNet)에 MCBN을 적용하면 특히 더 큰 미니배치를 사용할 때 합리적인 불확실성 맵이 생성된다.
• 비확률적 BN 또는 DO 네트워크에 비해 MCBN과 MCDO는 예측 성능 측면에서 약간의 개선을 제공하는 경향이 있지만 주로 불확실성 품질을 목표로 한다.