[논문 리뷰] Weight Uncertainty in Neural Networks

Charles Blundell, Julien Cornebise외 2명|arXiv (Cornell University)|2015. 05. 20.

Adversarial Robustness in Machine Learning참고 문헌 29인용 수 1,272

한 줄 요약

이 논문은 변분 추론을 사용하여 신경망 가중치에 대한 확률 분포를 학습하는, 미분 가능하고 백프로파게이션과 호환되는 알고리즘인 Bayes by Backprop을 소개한다. 이 알고리즘은 MNIST에서 드롭아웃과 유사한 성능을 달성하며, 불확실성 인식 예측을 통해 회귀에서 일반화를 향상시키고, 톰슨 샘플링을 통해 강화학습에서 자연스러운 탐색을 가능하게 한다. 이 모든 과정은 표준 딥러닝 하드웨어와 함께 효율적으로 스케일링된다.

ABSTRACT

We introduce a new, efficient, principled and backpropagation-compatible algorithm for learning a probability distribution on the weights of a neural network, called Bayes by Backprop. It regularises the weights by minimising a compression cost, known as the variational free energy or the expected lower bound on the marginal likelihood. We show that this principled kind of regularisation yields comparable performance to dropout on MNIST classification. We then demonstrate how the learnt uncertainty in the weights can be used to improve generalisation in non-linear regression problems, and how this weight uncertainty can be used to drive the exploration-exploitation trade-off in reinforcement learning.

연구 동기 및 목표

• 표준 신경망에서 과적합과 부정확한 불확실성 추정 문제를 해결하기 위해 원칙적인 가중치 불확실성 도입.
• 백프로파게이션과 호환되며 확장 가능한 베이지안 신경망을 위한 방법 개발으로, 불확실성 인식 예측을 가능하게 한다.
• 가중치 불확실성이 비선형 회귀에서 일반화를 향상시키고, 컨텍스트 밴딧 작업에서 효과적인 탐색을 이끌어내는 방식을 보여주기.
• 단일 확률적 가중치 분포를 통해 정규화, 모델 앙상블, 탐색을 통합하는 프레임워크 제공.

제안 방법

• 가중치의 진정한 사후분포를 파라미터화된 분포로 근사하기 위해 변분 추론을 적용하며, 변분 자유 에너지(증거 하한값)를 최소화한다.
• 재구성 기반 경사하강법을 사용하여 변분 목표함수의 편향 없는, 미분 가능한 최적화를 가능하게 하며, 표준 백프로파게이션과 호환된다.
• 각 가중치를 분포(예: 정규분포)로 표현하여, 스토케스틱한 순전파와 기울기 추정을 위한 몬테카를로 샘플링을 가능하게 한다.
• 가중치를 단순하고 압축 가능하며 데이터를 잘 설명하는 분포를 선호하는 압축 비용(변분 자유 에너지)을 도입하여 가중치를 정규화한다.
• 명시적인 다수의 네트워크 학습 없이도 몬테카를로 샘플링을 통한 사후 분포에서의 모델 앙상블을 가능하게 한다.
• 비정규분포 사전분포를 지원하며, 표준 딥러닝 프레임워크와 호환되어 GPU에서 효율적인 학습이 가능하다.

실험 결과

연구 질문

• RQ1 미분 가능하고 백프로파게이션과 호환되는 방법이 깊은 신경망에서 의미 있는 가중치 불확실성을 학습할 수 있는가?
• RQ2 변분 추론을 통한 가중치 불확실성이 표준 네트워크에 비해 비선형 회귀 작업에서 일반화를 향상시키는가?
• RQ3 가중치 불확실성이 컨텍스트 밴딧 문제에서 엡실론-그리디 전략을 능가하는 자연스러운 탐색을 이끌어낼 수 있는가?
• RQ4 Bayes by Backprop의 성능가 표준 벤치마크에서 드롭아웃과 같은 기존 정규화 기법과 비교해 어떻게 되는가?

주요 결과

• Bayes by Backprop는 MNIST에서 드롭아웃과 유사한 테스트 정확도를 달성하여, 가중치 불확실성을 통한 효과적인 정규화를 입증한다.
• 비선형 회귀에서 베이지안 네트워크는 데이터가 적은 영역에서 더 넓은 예측 구간을 생성하며, 이는 불확실성을 반영하는 바이다. 반면 표준 네트워크는 과신하는 경향이 있다.
• 버섯 컨텍스트 밴딧 태스크에서 베이지안 에이전트는 처음부터 효과적으로 탐색을 수행하며, 엡실론-그리디 에이전트보다 훨씬 빨리 근사 최적의 손실을 달성한다.
• 엡실론-그리디 에이전트(5% 탐색)는 과도하게 탐색을 하며, 그리디 에이전트는 초기 정책이 열악해 탐색을 제대로 하지 못하지만, 시간이 지남에 따라 점차 개선된다.
• Bayes by Backprop 에이전트는 전체 기간 동안 낮은 손실을 유지하며, 엡실론-그리디 전략보다 불확실성 기반 탐색이 더 체계적이고 효율적임을 보여준다.
• 이 방법은 비동기적 SGD와 같은 표준 딥러닝 하드웨어와 최적화 기법을 사용하여 효율적으로 스케일링된다.