[논문 리뷰] Combining Model and Parameter Uncertainty in Bayesian Neural Networks

Aliaksandr Hubin, Geir Storvik|arXiv (Cornell University)|2019. 03. 18.

Gaussian Processes and Bayesian Inference참고 문헌 57인용 수 4

한 줄 요약

이 논문은 가중치 포함을 위한 잠재 이진 변수를 통합함으로써 구조적(모델) 불확실성과 파라미터 불확실성을 동시에 모델링하는 확장 가능한 변분 추론 방법을 제안한다. 재파rameterization를 통해 경계 포함 확률를 조정함으로써 베이지안 모델 평균화와 선택이 가능해지며, 예측 성능을 유지하면서도 상당히 희소한 네트워크를 도출한다. 이는 이진 드롭아웃에 대한 원리적인 확률적 해석을 제공한다.

ABSTRACT

Bayesian neural networks (BNNs) have recently regained a significant amount of attention in the deep learning community due to the development of scalable approximate Bayesian inference techniques. There are several advantages of using Bayesian approach: Parameter and prediction uncertainty become easily available, facilitating rigid statistical analysis. Furthermore, prior knowledge can be incorporated. However so far there have been no scalable techniques capable of combining both model (structural) and parameter uncertainty. In this paper we introduce the concept of model uncertainty in BNNs and hence make inference in the joint space of models and parameters. Moreover, we suggest an adaptation of a scalable variational inference approach with reparametrization of marginal inclusion probabilities to incorporate the model space constraints. Finally, we show that incorporating model uncertainty via Bayesian model averaging and Bayesian model selection allows to drastically sparsify the structure of BNNs.

연구 동기 및 목표

• 베이지안 신경망에서 모델(구조적) 불확실성과 파라미터 불확실성을 동시에 조합하는 확장 가능한 기법의 부족을 해결하기 위해.
• 확장 가능한 변분 추론 프레임워크를 개발하여 BNN에서 베이지안 모델 평균화 및 선택을 가능하게 하기 위해.
• 경계 포함 확률을 드롭아웃 비율과 연결함으로써 이진 드롭아웃에 원리적인 확률적 해석을 제공하기 위해.
• 모델 및 파라미터 불확실성을 공동으로 모델링할 경우 상당히 희소하지만 정확한 BNN이 도출됨을 보여주기 위해.
• 기준 데이터셋(MNIST, FMNIST)에서 제안된 방법을 평가하고 기존 BNN 추론 기법들과 비교하기 위해.

제안 방법

• 개별 가중치의 포함 또는 배제를 나타내는 잠재 이진 변수를 도입하여 BNN에서 모델 불확실성을 명시적으로 모델링한다.
• 경계 포함 확률에 재파rameterization 기법을 적용함으로써 공동 모델-파라미터 공간에서 효율적이고 확장 가능한 스토하스틱 변분 추론을 가능하게 한다.
• 고차원 파라미터 공간을 효율적으로 처리하기 위해 완전히 요약된 변분 근사(fully factorized variational approximation)를 사용한다.
• 모델과 파라미터에 대해 베이지안 모델 평균화(BMA) 및 중앙확률모델(MPM) 추론을 적용하여 모델과 파라미터에 대한 근사 평균화를 수행한다.
• 결과적으로 도출된 포함 확률을 이진 드롭아웃 비율과 연결함으로써 드롭아웃 정규화에 원리적인 확률적 기반을 제공한다.
• 스피크-앤프레드 유사 사전 구조를 가중치에 적용하고, 포함 확률에 계층적 사전을 설정하여 희소성을 유도한다.

실험 결과

연구 질문

• RQ1 모델 불확실성은 모델 및 파라미터 불확실성을 함께 효과적으로 확장 가능한 방식으로 베이지안 신경망에 통합할 수 있는가?
• RQ2 모델과 파라미터에 대한 공동 추론은 네트워크의 희소성과 예측 성능에 어떤 영향을 미치는가?
• RQ3 모델에서 도출된 경계 포함 확률은 이진 드롭아웃에 원리적인 확률적 해석을 제공할 수 있는가?
• RQ4 제안된 방법은 기존 BNN 추론 기법들과 비교해 희소성 및 불확실성 캘리브레이션 측면에서 어떻게 성능을 내는가?
• RQ5 중요한 가중치 정제를 통해 상당한 성능 손실 없이 강력한 예측 성능을 유지하는가?

주요 결과

• 제안된 방법은 공동 모델 및 파라미터 불확실성 모델링을 통해 BNN의 상당한 희소화를 달성하며, 예측 정확도를 유지하면서 활성 가중치 수를 감소시킨다.
• MNIST에서, 표준 BNN 및 Concrete Dropout보다 더 희소한 모델을 생성하면서도 예측 성능은 유사하게 유지한다.
• FMNIST에서, 외부 영역 데이터 설정에서 엔트로피 분포가 균일에 가까워 잘 캘리브레이션된 불확실성 추정을 보여준다.
• 외부 영역 데이터에서 불확실성 캘리브레이션 측면에서 Concrete Dropout보다 우수한 성능을 보이며, 예측 불확실성을 더 잘 다루는 것으로 나타났다.
• 모델에서 도출된 경계 포함 확률은 드롭아웃 비율에 직접적인 확률적 해석을 제공하며, 베이지안 추론과 널리 사용되는 정규화 기법 간의 연결 고리를 제공한다.
• 베이지안 모델 평균화 및 중앙확률모델 추론이 의미 있는 희소하고 일반화 능력이 뛰어난 BNN 아키텍처를 도출함을 보여주었다.