[논문 리뷰] Bayesian Neural Networks

Vikram Mullachery, Aniruddh Khera외 1명|arXiv (Cornell University)|2018. 01. 23.

Gaussian Processes and Bayesian Inference참고 문헌 3인용 수 10

한 줄 요약

이 논문은 예측의 불확실성 정량화를 위해 가중치 위의 사후 분포를 통해 구현하는 확률적 모델링과 신경망의 융합으로 베이지안 신경망(BNNs)을 제시한다. 신경망의 함수 근사 능력과 확률적 모델의 해석 가능성 및 확률적 보장을 결합함으로써, BNNs는 예측 불확실성과 학습된 파라미터 분포에 대한 통찰을 모두 제공하며, 이는 이론적 및 응용 기계학습 작업에 있어 유용하다.

ABSTRACT

This paper describes and discusses Bayesian Neural Network (BNN). The paper showcases a few different applications of them for classification and regression problems. BNNs are comprised of a Probabilistic Model and a Neural Network. The intent of such a design is to combine the strengths of Neural Networks and Stochastic modeling. Neural Networks exhibit continuous function approximator capabilities. Stochastic models allow direct specification of a model with known interaction between parameters to generate data. During the prediction phase, stochastic models generate a complete posterior distribution and produce probabilistic guarantees on the predictions. Thus BNNs are a unique combination of neural network and stochastic models with the stochastic model forming the core of this integration. BNNs can then produce probabilistic guarantees on it's predictions and also generate the distribution of parameters that it has learnt from the observations. That means, in the parameter space, one can deduce the nature and shape of the neural network's learnt parameters. These two characteristics makes them highly attractive to theoreticians as well as practitioners. Recently there has been a lot of activity in this area, with the advent of numerous probabilistic programming libraries such as: PyMC3, Edward, Stan etc. Further this area is rapidly gaining ground as a standard machine learning approach for numerous problems

연구 동기 및 목표

• 예측의 불확실성 정량화를 가능하게 하기 위해 확률적 모델링을 신경망과 통합하기.
• 신경망의 함수 근사 능력과 확률적 모델의 파라미터 상호작용 특정화 능력을 활용하기.
• 네트워크 가중치 위의 전체 사후 분포를 생성하는 프레임워크를 제공하기.
• 해석 가능한 파라미터 분포와 확률적 보장을 통해 이론적 및 실용적 응용을 지원하기.
• 최신 확률적 프로그래밍 라이브러리들을 활용하여 BNNs를 현대 기계학습에서 표준 접근 방식으로 위치지키기.

제안 방법

• BNNs는 신경망 아키텍처의 핵심에 확률적 모델을 통합하여 구축된다.
• 모델은 관측된 데이터를 기반으로 네트워크 가중치 위의 사후 분포를 학습하기 위해 베이지안 추론을 사용한다.
• 예측은 가중치의 사후 분포에 대해 마르지닝하여 예측 분포를 도출한다.
• 이 방법은 파라미터 간의 직접적인 상호작용 특정화를 가능하게 하여 모델의 해석 가능성 향상에 기여한다.
• PyMC3, Edward, Stan과 같은 확률적 프로그래밍 라이브러리를 사용하여 추론 과정을 구현하고 확장한다.
• 이 프레임워크는 불확실성 추정이 포함된 분류 및 회귀 작업 모두를 지원한다.

실험 결과

연구 질문

• RQ1 어떻게 베이지안 추론을 신경망과 효과적으로 융합하여 불확실성 정량화를 향상시킬 수 있는가?
• RQ2 확률적 모델 코어가 신경망의 해석 가능성과 파라미터 상호작용 측면에서 어떤 이점을 제공하는가?
• RQ3 BNNs는 파라미터와 예측 모두에 대해 의미 있는 사후 분포를 생성할 수 있는가?
• RQ4 예측 신뢰성과 불확실성 추정 측면에서 BNNs는 표준 신경망과 어떻게 비교되는가?
• RQ5 확률적 프로그래밍 라이브러리들이 실무에서 BNNs의 도입을 얼마나 효과적으로 촉진할 수 있는가?

주요 결과

• BNNs는 네트워크 가중치 위에 전체 사후 분포를 생성하여 학습된 파라미터 구조의 세부 분석을 가능하게 한다.
• 확률적 모델링의 통합은 파라미터 상호작용의 직접적 특정화를 가능하게 하여 모델의 투명성 향상에 기여한다.
• BNNs의 예측은 확률적 보장을 수반하여 의사결정 맥락에서 신뢰도를 향상시킨다.
• 이 프레임워크는 불확실성 인식 출력을 제공하는 분류 및 회귀 작업 모두를 지원한다.
• PyMC3와 Edward와 같은 최신 확률적 프로그래밍 라이브러리의 사용은 BNNs의 확장 가능하고 접근 가능한 구현을 가능하게 한다.
• BNNs는 그 이론적 및 실용적 이점으로 인해 점점 더 기계학습 분야에서 표준 접근 방식으로 인정받고 있다.