[논문 리뷰] Vprop: Variational Inference using RMSprop

Mohammad Emtiyaz Khan, Zuozhu Liu외 2명|arXiv (Cornell University)|2017. 12. 04.

Gaussian Processes and Bayesian Inference참고 문헌 11인용 수 15

한 줄 요약

Vprop는 표준 RMSprop 최적화기의 두 가지 미세 조정만으로도 가우시안 변분 추론을 가능하게 하는 새로운 변분 추론 방법이다. 이는 블랙박스 변분 추론(BBVI) 대비 메모리 사용량을 절반으로 줄이며, 정확도는 정확한 자연미분수(method)와 유사하다. 이론적으로 뉴턴의 방법, 자연미분수, 확장된 칼만 필터와 연결되어 있다.

ABSTRACT

Many computationally-efficient methods for Bayesian deep learning rely on continuous optimization algorithms, but the implementation of these methods requires significant changes to existing code-bases. In this paper, we propose Vprop, a method for Gaussian variational inference that can be implemented with two minor changes to the off-the-shelf RMSprop optimizer. Vprop also reduces the memory requirements of Black-Box Variational Inference by half. We derive Vprop using the conjugate-computation variational inference method, and establish its connections to Newton's method, natural-gradient methods, and extended Kalman filters. Overall, this paper presents Vprop as a principled, computationally-efficient, and easy-to-implement method for Bayesian deep learning.

연구 동기 및 목표

• 기존 최적화 프레임워크를 활용하여 딥러닝에서 가우시안 변분 추론의 구현을 단순화하기 위해.
• 블랙박스 변분 추론(BBVI)가 평균과 분산을 별도로 최적화하기 때문에 매개변수 수가 두 배로 증가하는 것과 같은 메모리 오버헤드를 줄이기 위해.
• RMSprop, 뉴턴의 방법, 자연미분수 내림차순과 같은 현대 최적화 방법과 변분 추론 간의 체계적인 연결 고리를 설정하기 위해.
• 표준 신경망 코드베이스를 최소한의 수정으로 사용할 수 있도록 플러그 앤 플레이 형식의 베이지안 딥러닝을 가능하게 하기 위해.
• 계산적으로 효율적이면서도 기존 추론 기법(예: 확장된 칼만 필터)과의 이론적 연결 고리가 있는 방법을 개발하기 위해.

제안 방법

• Vprop는 표준 RMSprop 최적화기를 수정하여 두 가지 핵심 변경을 도입한다: 매개변수 갱신을 변분 하한(ELBO) 최적화로 대체하고, 전체 변분 분포를 고려한 기울기 계산 방식을 조정한다.
• 공액계산 변분 추론(CVI) 프레임워크를 사용하여, 가우스-뉴턴 근사 하에서 자연미분수 갱신과 동치가 되는 갱신을 유도한다.
• 스토하스틱 기울기 계산을 위해 변분 분포에서 몬테카를로 샘플링을 사용하여 비편향 추정을 보장한다.
• Vprop는 RMSprop의 적응형 학습률 메커니즘을 유지하지만, 이를 변분 매개변수(평균 및 로그분산)에 적용하여 효율적이고 안정적인 최적화를 가능하게 한다.
• 알고리즘은 RMSprop의 메모리 효율성을 그대로 이어받으며, 전체 공분산에 대한 별도의 이阶 통계량을 저장할 필요가 없기 때문에 BBVI 대비 메모리 비용을 절반으로 줄인다.
• 특정 가정 하에 Vprop 갱신 방향이 자연미분수를 근사함을 보여줌으로써 뉴턴의 방법, 자연미분수 내림차순, 확장된 칼만 필터와의 이론적 연결 고리를 수립한다.

실험 결과

연구 질문

• RQ1 기존 최적화 코드베이스(예: RMSprop)에 최소한의 변경만으로 변분 추론을 구현할 수 있는가?
• RQ2 RMSprop를 기반으로 한 방법이 정확한 자연미분수 또는 가우스-뉴턴 기반 변분 추론과 유사한 성능을 낼 수 있는가?
• RQ3 제안된 방법이 정확도를 유지하면서도 기존 BBVI 대비 메모리 사용량을 줄일 수 있는가?
• RQ4 Vprop와 뉴턴의 방법, 자연미분수 간의 이론적 관계는 무엇인가?
• RQ5 몬테카를로 샘플링을 기반으로 한 기울기 추정이 소규모 데이터 환경에서 과적합을 방지할 수 있는가?

주요 결과

• Vprop는 정확한 자연미분수 방법인 CVI와 유사한 ELBO 최적화 성능을 로지스틱 회귀와 MLP에서 달성한다. 이는 정확한 헤시안 행렬 계산 대신 가우스-뉴턴 근사를 사용한 점에서 놀랍다.
• Australian-Scale 및 a1a 데이터셋에서 Vprop-2(2개의 몬테카를로 샘플 사용)는 일정한 학습률을 사용하는 BBVI와 동일하거나 더 빠른 수렴 속도를 보였다.
• ELBO 최적화 없이 RMSprop만 사용할 경우 소규모 데이터셋에서는 잘 작동하지만 과적합이 발생함을 확인하여, 일반화를 위해 ELBO 최적화가 필수적임을 시사한다.
• 몬테카를로 샘플링 없이 Vprop-0을 사용할 경우 RMSprop보다 略적으로 더 나은 성능을 보였지만 여전히 과적합이 발생함을 확인하여, 샘플링이 안정적인 베이지안 일반화에 필수적임을 시사한다.
• Vprop-2와 CVI 모두 MLP 실험에서 과적합을 방지하는 반면, RMSprop와 Vprop-0은 그렇지 않음을 확인하여, 샘플링을 통한 비편향 기울기 추정이 신뢰할 수 있는 불확실성 측정에 핵심적임을 입증한다.
• 전체 공분산 행렬에 대한 별도의 이阶 통계량을 저장할 필요가 없기 때문에, BBVI 대비 메모리 사용량을 절반으로 줄였다.