[논문 리뷰] Bayesian Dark Knowledge

Anoop Korattikara, Vivek Rathod외 2명|arXiv (Cornell University)|2015. 06. 14.

Gaussian Processes and Bayesian Inference참고 문헌 21인용 수 135

한 줄 요약

이 논문은 확률적 경사 하강 랭그비안 동역학(SGLD)에서 유도된 몬테카를로 사후 예측 분포를 단일 효율적인 딥 네트워크로 흡수하는 Bayesian Dark Knowledge를 제안한다. SGLD 교사의 불확실성 인식 예측을 모방하도록 훈련된 컴act한 학생 네트워크를 통해, 기존의 변분 베이즈와 기대값 전파 방법보다 더 나은 예측 성능를 달성하면서도 표준 딥 러닝 모델 수준의 추론 속도를 확보한다.

ABSTRACT

We consider the problem of Bayesian parameter estimation for deep neural networks, which is important in problem settings where we may have little data, and/ or where we need accurate posterior predictive densities, e.g., for applications involving bandits or active learning. One simple approach to this is to use online Monte Carlo methods, such as SGLD (stochastic gradient Langevin dynamics). Unfortunately, such a method needs to store many copies of the parameters (which wastes memory), and needs to make predictions using many versions of the model (which wastes time). We describe a method for "distilling" a Monte Carlo approximation to the posterior predictive density into a more compact form, namely a single deep neural network. We compare to two very recent approaches to Bayesian neural networks, namely an approach based on expectation propagation [Hernandez-Lobato and Adams, 2015] and an approach based on variational Bayes [Blundell et al., 2015]. Our method performs better than both of these, is much simpler to implement, and uses less computation at test time.

연구 동기 및 목표

• 데이터가 제한적일 때나 불확실성 추정이 중요한 경우에 깊은 신경망에서 정확한 사후 예측 밀도를 확보하는 데 도전한다.
• 기존의 베이지안 딥 러닝 방법, 예를 들어 변분 추론과 기대값 전파의 계산 및 메모리 비효율성을 해결한다.
• SGLD에서 유도된 불확실성을 단일 빠른 추론 모델로 흡수함으로써 깊은 네트워크에서 효율적이고 확장 가능한 베이지안 추론을 가능하게 한다.
• 활성 학습, 밴디트, 강화 학습과 같은 응용 분야에서 신뢰할 수 있는 불확실성 추정이 필수적인 경우에 예측 불확실성 추정을 향상시킨다.

제안 방법

• 확률적 경사 하강 랭그비안 동역학(SGLD)을 사용해 사후 예측 분포의 몬테카를로 근사를 생성함으로써 '교사'로 기능한다.
• SGLD 교사의 예측 분포를 모방하도록 단일 딥 네트워크('학생')를 훈련시켜 흡수를 수행한다.
• 훈련 중에 학생의 예측 출력과 SGLD 교사의 앙상블 출력 간의 쿨백-라이블러 발산을 최소화한다.
• 학생 네트워크에 표준 백프로파게이션을 적용하며, 노이즈가 첨가된 교사의 예측에서 유도된 합성 훈련 데이터를 사용한다.
• 학생의 가중치에 사전 분포를 도입하여 흡수 과정을 정규화하고 일반화 성능을 향상시킨다.
• 적응형 학습률을 사용한 온라인 학습과 데이터 증강(Gaussian 노이즈를 예측에 추가)을 통해 학생 훈련의 안정성과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 컴팩트 딥 네트워크가 SGLD의 몬테카를로 사후 분포의 예측 불확실성을 효과적으로 근사할 수 있는가?
• RQ2 흡수된 모델의 성능가 SGLD의 몬테카를로 사후 분포의 예측 불확실성을 효과적으로 근사할 수 있는가?
• RQ3 흡수 과정이 추론 시간과 메모리 사용량을 줄이면서도 원래 SGLD 사후 분포의 불확실성 校정을 어느 정도 유지하는가?
• RQ4 비베이지안 및 베이지안 기준 모델과 비교해 표준 벤치마크에서 흡수된 모델이 유지 또는 향상된 예측 로그우도를 달성하는가?
• RQ5 활성 학습이나 컨텍스트 밴디트와 같은 불확실성 추정이 필요한 후속 작업에서 흡수된 모델을 효과적으로 활용할 수 있는가?

주요 결과

• 보스턴 주택 데이터셋에서 흡수된 SGLD 모델은 테스트 로그우도 -2.350 ± 0.0762를 기록하여 SGD(-2.7639)를 크게 능가하고 SGLD 교사(-2.306)와 유사한 성능을 달성한다.
• MNIST에서 흡수된 모델은 로그우도 -2.350 ± 0.0762를 기록하여 PBP(-2.574)와 VI(-2.903)를 능가하며 전체 SGLD 앙상블의 성능에 근접한다.
• 흡수된 모델는 SGLD와 유사한 불확실성 추정을 제공하면서도 표준 딥 네트워크 수준의 추론 속도를 확보하여 몬테카를로 방법의 S× 속도 저하 문제를 피한다.
• 1차원 회귀 토이 문제에 대한 시각적 분석을 통해 흡수된 모델가 HMC를 통해 확보한 진짜 사후 예측 분포를 밀도적으로 근사하는 것으로 확인되었다.
• 변분 베이즈와 기대값 전파보다 더 간단하게 구현 가능하며, 복잡한 사후 분해나 반복적 업데이트가 필요로 하지 않는다.
• 흡수된 방법은 강력한 불확실성 캘리브레이션과 일반화 성능를 유지하며, 단일 모델을 사용함에도 불구하고 전체 SGLD 사후 분포에서의 성능 저하가 최소한이다.