[논문 리뷰] The Bayesian Learning Rule

Mohammad Emtiyaz Khan, Håvard Rue|arXiv (Cornell University)|2021. 07. 09.

Gaussian Processes and Bayesian Inference참고 문헌 125인용 수 7

한 줄 요약

이 논문은 릿지 회귀와 칼만 필터와 같은 고전적 방법에서부터 확률적 경사 하강법과 Adam과 같은 현대 딥러닝 기법에 이르기까지 다양한 기계학습 알고리즘을 하나의 베이지안 추론 알고리즘의 특정 사례로 유도할 수 있는 통합 프레임워크인 베이지안 학습 규칙을 소개한다. 후행 분포를 지수족 분포로 근사하고 자연 기울기(natural gradient)를 통해 최적화함으로써, 이 프레임워크는 일반화, 향상, 그리고 새로운 알고리즘의 설계를 가능하게 한다.

ABSTRACT

We show that many machine-learning algorithms are specific instances of a single algorithm called the \emph{Bayesian learning rule}. The rule, derived from Bayesian principles, yields a wide-range of algorithms from fields such as optimization, deep learning, and graphical models. This includes classical algorithms such as ridge regression, Newton's method, and Kalman filter, as well as modern deep-learning algorithms such as stochastic-gradient descent, RMSprop, and Dropout. The key idea in deriving such algorithms is to approximate the posterior using candidate distributions estimated by using natural gradients. Different candidate distributions result in different algorithms and further approximations to natural gradients give rise to variants of those algorithms. Our work not only unifies, generalizes, and improves existing algorithms, but also helps us design new ones.

연구 동기 및 목표

• 다양한 기계학습 알고리즘을 일관된 베이지안 프레임워크 아래 통합하기 위해.
• 공통된 변분 베이지안 설정에서 유도함으로써 기존 알고리즘을 일반화하기 위해.
• 베이지안 학습 규칙 내에서 자연 기울기 근사를 활용하여 알고리즘 설계를 향상시키기 위해.
• 후행 분포의 원칙적인 근사를 통해 새로운 학습 알고리즘을 체계적으로 유도하고 창출할 수 있도록 하기 위해.

제안 방법

• 기대 손실에 우선분포로의 쿨백-라이블러 발산을 더한 변분 공식화로부터 베이지안 학습 규칙을 유도하며, 이는 일반화된 후행 분포를 도출한다.
• 근사 후행 분포에 대해 지수족 분포의 클래스를 최적화하며, 자연 매개수와 충분통계량으로 매개변수화된다.
• 자연 기울기를 사용하여 근사 후행 분포의 매개수에 대한 효율적인 갱신을 계산함으로써 안정적이고 적응형 최적화를 가능하게 한다.
• 스토크래틱 최적화에서 사용되는 변형들처럼 실용적인 학습 규칙의 변형을 도출하기 위해 자연 기울기의 근사를 도입한다.
• 업데이트 규칙에서 두 번째 도함수를 단순화하기 위해 델타 및 본넷의 정리 근사를 사용한다.
• 규칙의 특정 사례는 잘 알려진 알고리즘을 도출한다: 예를 들어, 가우시안 근사는 뉴턴 유형의 방법을, 베르누이 및 혼합 모델은 드롭아웃과 VAE를 도출한다.

실험 결과

연구 질문

• RQ1 일관된 베이지안 추론 프레임워크를 통해 최적화, 딥러닝, 그래픽 모델 분야의 다양한 기계학습 알고리즘을 통합할 수 있는가?
• RQ2 베이지안 프레임워크 내에서 자연 기울기 근사화는 기존 알고리즘의 개선 또는 일반화된 형태로 이어질 수 있는가?
• RQ3 베이지안 학습 규칙이 릿지 회귀나 칼만 필터와 같은 고전적 알고리즘을 복원할 수 있는 조건은 무엇인가?
• RQ4 후행 분포의 원칙적인 근사를 통해 새로운 학습 알고리즘을 유도할 수 있도록 프레임워크를 어떻게 확장할 수 있는가?
• RQ5 지수족 분포는 고전적 및 현대적 학습 알고리즘을 통합적으로 유도하는 데 어떤 역할을 하는가?

주요 결과

• 베이지안 학습 규칙은 릿지 회귀, 뉴턴의 방법, 칼만 필터, 확률적 경사 하강법, RMSprop, 드롭아웃 등 다양한 알고리즘을 하나의 추론 규칙의 특정 사례로 성공적으로 복원한다.
• 이 프레임워크는 기존 알고리즘을 원칙적인 베이지안 변분 추론 설정에 통합함으로써 이들의 이론적 기반을 강화한다.
• 자연 기울기 근사를 통해 안정적이고 적응형 매개수 갱신이 가능하며, 특히 고차원 및 i.i.d.가 아닌 환경에서 뛰어난 성능을 발휘한다.
• 지수족 분포의 사용은 기대값과 모멘트의 효율적 계산을 가능하게 하여 변분 目표의 계산 가능 최적화를 가능하게 한다.
• 통제된 근사를 통해 새로운 알고리즘 변형을 도출할 수 있으며, 예를 들어 두 번째 도함수에 대한 델타 근사는 이에 해당한다.
• 특정 사례로 가우시안 및 혼합 모델을 사용하면 VAE와 혼합 밀도 네트워크와 같은 알려진 알고리즘이 도출되며, 이는 광범위한 적용 가능성을 보여준다.