[논문 리뷰] Probabilistic Backpropagation for Scalable Learning of Bayesian Neural Networks

José Miguel Hernández-Lobato, Ryan P. Adams|arXiv (Cornell University)|2015. 02. 18.

Machine Learning and Algorithms참고 문헌 25인용 수 561

한 줄 요약

이 논문은 확률적 역전파(Probabilistic Backpropagation, PBP)를 소개한다. PBP는 신경망 가중치에 대한 사후 근사값을 학습하기 위해 역전파를 확장하여 확률 분포를 전방 및 역방향으로 전파하는 확장 가능한 베이지안 신경망 학습 방법이다. PBP는 실제 데이터셋에서 기존의 베이지안 방법들인 HMC와 EP보다 훨씬 빠르면서도 최첨단의 예측 성능과 校정된 불확실성 추정을 달성한다.

ABSTRACT

Large multilayer neural networks trained with backpropagation have recently achieved state-of-the-art results in a wide range of problems. However, using backprop for neural net learning still has some disadvantages, e.g., having to tune a large number of hyperparameters to the data, lack of calibrated probabilistic predictions, and a tendency to overfit the training data. In principle, the Bayesian approach to learning neural networks does not have these problems. However, existing Bayesian techniques lack scalability to large dataset and network sizes. In this work we present a novel scalable method for learning Bayesian neural networks, called probabilistic backpropagation (PBP). Similar to classical backpropagation, PBP works by computing a forward propagation of probabilities through the network and then doing a backward computation of gradients. A series of experiments on ten real-world datasets show that PBP is significantly faster than other techniques, while offering competitive predictive abilities. Our experiments also show that PBP provides accurate estimates of the posterior variance on the network weights.

연구 동기 및 목표

• 표준 역전파의 한계, 즉 불확실성 정량화 부족과 하이퍼파rameter 조정에 대한 민감성 문제를 해결하기 위해.
• 기존의 베이지안 추론 기법의 계산 비용이 과도하여 적용이 어려운 큰 신경망과 대규모 데이터셋에 대해 확장 가능한 베이지안 학습 방법을 개발하기 위해.
• 높은 예측 성능를 유지하면서도 네트워크 가중치에 대한 정확한 사후 분산 추정을 제공하기 위해.
• 신뢰할 수 있는 사후 분산 추정을 바탕으로 불확실성 기반 데이터 선택을 수행할 수 있는 주도적 학습을 가능하게 하기 위해.
• 딥 러닝에서 역전파의 효율성과 베이지안 추론의 강건성을 결합하기 위해.

제안 방법

• PBP는 신경망 가중치에 대한 사후 분포를 근사하기 위해 가우시안 곱의 형태를 사용한다.
• 데이터의 주변부 확률을 계산하기 위해 네트워크를 통해 확률 분포의 전방 전파를 수행한다.
• 주변부 확률에 대한 가우시안 사후 근사의 파라미터에 대한 기울기를 역방향 전파로 계산한다.
• 이 기울기를 사용하여 확률적 최적화를 통해 사후 근사의 평균과 분산을 반복적으로 갱신한다.
• 랜덤 및 주도적 데이터 수집을 모두 지원하며, 주도적 학습은 예측 분산 최대화 전략에 의해 이끌린다.
• 기존의 많은 베이지안 신경망 방법들과 달리 대규모 데이터셋과 깊은 아키텍처에 확장 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 확장 가능한 베이지안 신경망 학습 방법을 개발할 수 있는가? 이 방법은 고성능 예측 성능를 유지하면서도 보정된 불확실성 추정을 제공할 수 있는가?
• RQ2 실제 데이터셋에서 기존의 베이지안 방법들인 HMC, EP, 라플라스 근사(LA)와 비교해 PBP의 성능과 속도는 어떠한가?
• RQ3 PBP는 신뢰할 수 있는 사후 분산 추정을 제공함으로써 주도적 학습을 어느 정도 지원할 수 있는가?
• RQ4 PBP는 표준 역전파에서 흔히 발생하는 하이퍼파rameter 민감성과 과적합 문제를 피할 수 있는가?
• RQ5 대규모 네트워크와 데이터셋에서 PBP는 가중치에 대한 사후 분포를 효과적으로 근사할 수 있는가?

주요 결과

• PBP는 10개의 실제 데이터셋에서 HMC, EP, LA와 비교해 경쟁적인 예측 성능를 보였으며, 테스트 RMSE 값이 이들와 수준을 같이하거나 뛰어났다.
• 주도적 학습 환경에서 PBP는 특히 보스턴, 에너지, 파워 플랜트, 요트 데이터셋에서 EP와 LA를 크게 앞섰으며, 이는 신뢰할 수 있는 불확실성 추정을 의미한다.
• PBP를 사용한 주도적 학습 전략은 랜덤 샘플링보다 테스트 RMSE를 더 효과적으로 감소시켰으며, HMC의 성능 수준에 도달하는 결과를 보였다. 이는 PBP의 사후 분산 추정이 실용적임을 보여준다.
• PBP는 HMC와 EP보다 훨씬 빠르게 동작하여 대규모 베이지안 신경망 학습에 적합함을 입증했다.
• 라플라스 근사는 대각 행렬 헤시안 가정으로 인해 잘못된 하이퍼파rameter 추정을 초래했고, 이로 인해 성능이 떨어졌지만, PBP는 이 문제를 피했다.
• HMC 기준값과의 비교를 통해 PBP는 네트워크 가중치에 대한 정확한 사후 분산 추정을 제공했으며, 이는 불확실성 정량화의 신뢰성과 정확성을 확인한다.