[논문 리뷰] Sampling-Free Variational Inference of Bayesian Neural Networks by Variance Backpropagation

Manuel Haußmann, Fred A. Hamprecht외 1명|arXiv (Cornell University)|2018. 05. 19.

Gaussian Processes and Bayesian Inference참고 문헌 38인용 수 9

한 줄 요약

이 논문은 변동성 역전파를 사용하여 샘플링이 없는 변동성 추론 방법을 제안하며, ReLU 비선형성의 분해를 통해 분석적으로 접근 가능한 기초 하한값(ELBO) 계산을 가능하게 한다. 기대값과 분산을 별도의 경로로 처리함으로써, 몬테카를로나 중심극한정리(CLT) 기반 방법보다 더 날카운 approximation을 달성하며, 회귀 및 분류 벤치마크에서 경쟁력 있거나 더 뛰어난 성능을 보인다.

ABSTRACT

We propose a new Bayesian Neural Net formulation that affords variational inference for which the evidence lower bound is analytically tractable subject to a tight approximation. We achieve this tractability by (i) decomposing ReLU nonlinearities into the product of an identity and a Heaviside step function, (ii) introducing a separate path that decomposes the neural net expectation from its variance. We demonstrate formally that introducing separate latent binary variables to the activations allows representing the neural network likelihood as a chain of linear operations. Performing variational inference on this construction enables a sampling-free computation of the evidence lower bound which is a more effective approximation than the widely applied Monte Carlo sampling and CLT related techniques. We evaluate the model on a range of regression and classification tasks against BNN inference alternatives, showing competitive or improved performance over the current state-of-the-art.

연구 동기 및 목표

• 베이지안 신경망의 몬테카를로 기반 변동성 추론에서 내재된 계산 비효율성과 근사 오차를 해결한다.
• 스토케스틱 샘플링이 필요 없는 기초 하한값(ELBO)의 분석적 계산을 가능하게 하는 제형을 개발한다.
• 베이지안 신경망 추론에서 널리 사용되는 몬테카를로 및 중심극한정리(CLT) 기반 기법을 초월하여 근사 품질을 향상시킨다.
• ReLU 활성화의 새로운 아키텍처적 분해와 분산 경로를 통해 더 효율적이고 정확한 베이지안 딥러닝을 가능하게 한다.

제안 방법

• 비선형성의 분석적 처리를 가능하게 하기 위해 ReLU 비선형성을 항등함수와 헤비사이드 단위계단함수의 곱으로 분해한다.
• 네트워크 기대값과 분산의 계산을 분리하기 위해 별도의 잠재 경로를 도입하여 변동성 역전파를 가능하게 한다.
• 활성화를 이진 잠재변수로 모델링하여 신경망의 가능도를 선형 연산의 사슬으로 표현한다.
• 분해된 구조에서 변동성 추론을 수행하여 ELBO를 분석적으로 계산함으로써 스토케스틱 샘플링을 회피한다.
• 분석적 ELBO를 진짜 로그가능도의 날카운 근사로 사용하여, 샘플링 기반 대안보다 추론 정확도를 향상시킨다.
• 이 구조를 활용해 몬테카를로 샘플링 없이도 엔드 투 엔드 미분 가능 학습을 가능하게 하여 계산 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 베이지안 신경망에서 기초 하한값(ELBO)을 몬테카를로 샘플링에 의존하지 않고 분석적으로 계산할 수 있는가?
• RQ2 ReLU 비선형성을 항등함수와 계단함수 성분으로 분해함으로써 더 날카운 근사와 더 나은 접근 가능성을 확보할 수 있는가?
• RQ3 분산 계산을 위한 별도의 경로가 기존의 샘플링 기반 방법보다 ELBO 근사 품질을 향상시킬 수 있는가?
• RQ4 제안된 샘플링이 없는 방법이 표준 벤치마크에서 최신 기술 대비 성능에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 베이지안 신경망에서 기초 하한값(ELBO)을 샘플링 없이 분석적으로 계산할 수 있게 하여, 스토케스틱 샘플링의 필요성을 제거한다.
• ReLU를 항등함수와 헤비사이드 함수 성분으로 분해함으로써, 네트워크 가능도가 선형 연산의 사슬으로 표현되어 추론이 접근 가능해진다.
• 분산 계산을 위한 별도의 경로로 인해 몬테카를로나 중심극한정리(CLT) 기반 기법보다 더 날카운 ELBO 근사가 가능하다.
• 다양한 회귀 및 분류 작업에서 기존 최신 기술 대비 경쟁력 있거나 향상된 성능을 달성한다.