[논문 리뷰] SLANG: Fast Structured Covariance Approximations for Bayesian Deep Learning with Natural Gradient

Aaron Mishkin, Frederik Künstner외 3명|arXiv (Cornell University)|2018. 11. 11.

Gaussian Processes and Bayesian Inference인용 수 27

한 줄 요약

SLANG는 베이지안 딥 러닝에서 변분 추론을 위한 빠르고, 확률적이고, 낮은 랭크의 근사 자연미분법을 제안한다. 이는 네트워크 로그우도의 역전파 기울기만을 사용하여 구조화된 공분산 행렬(대각행렬 + 낮은 랭크)을 추정한다. 평균장 방법보다 더 빠른 수렴과 더 정확한 불확실성 추정을 달성하며, 표준 벤치마크에서 최신 기술 수준의 성능을 보인다.

ABSTRACT

Uncertainty estimation in large deep-learning models is a computationally challenging task, where it is difficult to form even a Gaussian approximation to the posterior distribution. In such situations, existing methods usually resort to a diagonal approximation of the covariance matrix despite, the fact that these matrices are known to result in poor uncertainty estimates. To address this issue, we propose a new stochastic, low-rank, approximate natural-gradient (SLANG) method for variational inference in large, deep models. Our method estimates a "diagonal plus low-rank" structure based solely on back-propagated gradients of the network log-likelihood. This requires strictly less gradient computations than methods that compute the gradient of the whole variational objective. Empirical evaluations on standard benchmarks confirm that SLANG enables faster and more accurate estimation of uncertainty than mean-field methods, and performs comparably to state-of-the-art methods.

연구 동기 및 목표

• 대규모 딥 네트워크에서 효율적이고 정확한 불확실성 추정의 과제를 해결하기 위해.
• 대각공분산 근사화로 인해 불확실성을 과소평가하는 평균장 변분 추론의 한계를 극복하기 위해.
• 낮은 메모리 및 계산 비용을 유지하면서도 딥 모델로 스케일링할 수 있는 방법을 개발하기 위해.
• 전체 변분 목표 함수의 기울기를 요구하지 않고도 구조화된 공분산 근사화(대각행렬 + 낮은 랭크)를 가능하게 하기 위해.
• 계산 오버헤드를 줄이며 최신 기술 수준의 방법과 비교해 유사한 성능을 달성하기 위해.

제안 방법

• SLANG는 변분 파라미터를 최적화하기 위해 근사 자연미분법 알고리즘을 사용하며, 네트워크 로그우도의 역전파 기울기만을 활용한다.
• 대각항과 낮은 랭크 성분으로 구성된 구조화된 공분산 행렬을 추정하며, 이는 기울기 통계에서 직접 학습된다.
• 전체 변분 목표 함수의 기울기를 계산하지 않아서, 재정규화 기반 접근법보다 계산 비용을 절감한다.
• 작은 배치 기울기를 사용하여 공분산 근사를 점진적으로 구축하는 확률적이고 반복적인 최적화 방법을 채택한다.
• 적응형 학습률과 모멘타임을 사용하며, 하이퍼파ram터는 베이지안 최적화와 교차검증을 통해 튜닝된다.
• 몬테카를로 샘플링을 사용하여 추론을 수행하며, 전체 배치 또는 소형 배치 학습을 위한 베이지안 신경망에 적용된다.

실험 결과

연구 질문

• RQ1 낮은 랭크 + 대각공분산 구조는 평균장 근사화에 비해 딥 베이지안 신경망에서 불확실성 추정을 향상시킬 수 있는가?
• RQ2 로거스티크 기울기만을 사용하여 전체 로그우도 기울기를 요구하지 않는 자연미분법 최적화를 대규모 딥 모델에 대해 계산적으로 효율적으로 만들 수 있는가?
• RQ3 표준 벤치마크에서 SLANG는 평균장 및 최신 기술 수준의 방법보다 더 빠른 수렴과 더 나은 불확실성 추정을 달성할 수 있는가?
• RQ4 낮은 메모리 및 계산 오버헤드로 딥 네트워크에 효과적으로 스케일링할 수 있는가?
• RQ5 다양한 낮은 랭크 차원과 하이퍼파ram터 설정에서 SLANG의 성능은 어떻게 변하는가?

주요 결과

• USPS 데이터셋에서 보듯이, SLANG는 평균장 방법에 비해 불확실성 추정을 크게 향상시키며, 특히 분산 과소평가를 줄이는 데 기여한다.
• MNIST 및 UCI 회귀 벤치마크에서 SLANG는 최신 기술 수준의 방법과 유사한 성능을 달성하며 더 빠른 수렴을 보였다.
• MNIST에서 L=32를 사용한 SLANG는 테스트 정확도 97.8%와 음의 로그우도 0.138을 기록했으며, 평균장 기반 베이스라인을 능가했다.
• UCI 데이터셋에서는 Bayes-by-Backprop 및 평균장 VI보다 항상 낮은 테스트 NLL을 기록했으며, 일부 경우에서 최대 15%의 향상이 있었다.
• 모든 데이터셋에서 최적의 학습률은 α=β=0.02154435로 나타나 하이퍼파ram터 선택에 대한 강건성을 보였다.
• 전체 변분 목표 함수의 기울기를 계산하지 않아서 재정규화 기반 방법보다 더 적은 기울기 계산 횟수를 요구했다.