[논문 리뷰] Tractable Approximate Gaussian Inference for Bayesian Neural Networks

James A. Goulet, Luong Ha Nguyen외 1명|PolyPublie (École Polytechnique de Montréal)|2020. 04. 20.

Gaussian Processes and Bayesian Inference참고 문헌 34인용 수 6

한 줄 요약

이 논문은 O(n) 복잡도로 가중치와 편향에 대한 사후 평균과 대각 공분산을 정확하게 계산할 수 있는 새로운 분석적 방법인 Tractable Approximate Gaussian Inference (TAGI)를 소개한다. TAGI는 백프로파게이션 없이도 회귀 및 MNIST 분류 벤치마크에서 최신 기술 수준의 성능을 달성하며, 정확도는 기울기 기반 방법과 유사하지만 효율적이고 불확실성 인식 온라인 추론을 가능하게 한다.

ABSTRACT

In this paper, we propose an analytical method for performing tractable approximate Gaussian inference (TAGI) in Bayesian neural networks. The method enables the analytical Gaussian inference of the posterior mean vector and diagonal covariance matrix for weights and biases. The method proposed has a computational complexity of $\mathcal{O}(n)$ with respect to the number of parameters $n$, and the tests performed on regression and classification benchmarks confirm that, for a same network architecture, it matches the performance of existing methods relying on gradient backpropagation.

연구 동기 및 목표

• 백프로파게이션을 피하는 선형 복잡도 O(n)로 가중치와 편향에 대한 사후 평균과 대각 공분산을 정확하게 계산할 수 있는 분석적 방법을 개발하는 것.
• 파라미터 수에 대해 선형 복잡도 O(n)로 네트워크 가중치와 편향에 대한 사후 평균과 대각 공분산을 효율적으로 계산하는 것.
• 점 추정치가 부족한 저자료, 지속적 학습, 온라인 추론 환경에서의 불확실성 정량화를 지원하는 것.
• 회귀 및 분류 벤치마크에서 기존 기울기 기반 접근법과의 성능 비교를 통해 방법의 유효성을 검증하는 것.

제안 방법

• 모멘트 생성 함수와 활성화 함수의 국소 선형화를 사용하여 불확실성을 네트워크 전방으로 분석적으로 전파하는 방법.
• 각 층에서 가우시안 가정을 반복적으로 적용하여 은닉 유닛과 파라미터에 대해 분석적이고 계층별 추론을 수행하는 방법.
• 신경망 내 조건부 독립성을 활용하여 파라미터 수에 대해 선형 저장 및 계산 복잡도를 달성하는 방법.
• 가중치와 편향의 사전 분포를 다변량 가우시안으로 모델링하고, 닫힌 형태의 표현식을 사용해 사후 분포를 분석적으로 계산하는 방법.
• 관측 오차를 독립적인 가우시안 변수로 모델링하고 학습된 분산을 사용하여 회귀 및 분류 작업을 모두 처리하는 방법.
• 일반화 성능을 최적화하기 위해 검증 세트에서 조기 정지 및 하이퍼파ram터 튜닝을 수행하며, 결과는 여러 랜덤 초기화 평균을 취한다.

실험 결과

연구 질문

• RQ1 선형 복잡도와 높은 정확도를 갖는 백프로파게이션 기반 추론 없이 베이지안 신경망에 대해 분석적 추론을 개발할 수 있는가?
• RQ2 TAGI의 성능은 회귀 및 분류 작업에서 기울기 기반 베이지안 신경망 방법과 어떻게 비교되는가?
• RQ3 이 방법은 저자료 환경에서 불확실성 정량화 및 온라인 학습을 어느 정도 지원하는가?
• RQ4 학습 과정에서 배치 크기와 관측 오차 분산에 대해 TAGI의 성능는 얼마나 민감한가?

주요 결과

• 800개의 은닉 유닛과 14개의 최적 에포크를 사용할 경우, MNIST에서 테스트 오차 1.54%를 기록하여 유사한 아키텍처의 최신 기술 수준 결과를 달성했다.
• 동일한 아키텍처에서 100개의 은닉 유닛과 21개의 최적 에포크를 사용할 경우 2.29% 오차를 기록하여 작은 네트워크에서도 뛰어난 성능을 보였다.
• 다양한 배치 크기에서 성능이 안정적이었으며, B=1 대비 B=10을 사용할 경우 약간의 성능 저하만 나타내어 배치 크기 변화에 대해 강건함을 보였다.
• 더 큰 배치 크기를 사용할 경우 가중치 초기화에 대한 민감도가 최소였지만, B=1일 경우 σV와 초기화에 더 민감한 성능을 보였다.
• 백프로파게이션을 사용하지 않음에도 불구하고, Bayes by Backprop 및 Variational Message Passing와 같은 기울기 기반 방법과 유사한 정확도를 달성했다.
• 계산 복잡도는 파라미터 수에 대해 선형으로 증가하므로 실시간 및 온라인 학습 응용에 적합하다.