[논문 리뷰] Variational Dropout and the Local Reparameterization Trick

Diederik P. Kingma, Tim Salimans외 1명|UvA-DARE (University of Amsterdam)|2015. 06. 08.

Gaussian Processes and Bayesian Inference참고 문헌 23인용 수 461

한 줄 요약

이 논문은 베이지안 신경망을 위한 확률적 경량화 기반 추론에서 분산을 줄이는 局소 재매개변수화 기법을 제안하며, 이는 빠른 수렴과 효율적이고 병렬화 가능한 훈련을 가능하게 한다. 이 방법은 고정된 드롭아웃 비율 대신 적응형 드롭아웃 비율을 학습함으로써 가우시안 드롭아웃을 일반화하며, 표준 기준 대비 최대 200배 빠른 속도와 더 낮은 분산을 달성하여 최신 기술 수준의 성능을 구현한다.

ABSTRACT

We investigate a local reparameterizaton technique for greatly reducing the variance of stochastic gradients for variational Bayesian inference (SGVB) of a posterior over model parameters, while retaining parallelizability. This local reparameterization translates uncertainty about global parameters into local noise that is independent across datapoints in the minibatch. Such parameterizations can be trivially parallelized and have variance that is inversely proportional to the minibatch size, generally leading to much faster convergence. Additionally, we explore a connection with dropout: Gaussian dropout objectives correspond to SGVB with local reparameterization, a scale-invariant prior and proportionally fixed posterior variance. Our method allows inference of more flexibly parameterized posteriors; specifically, we propose variational dropout, a generalization of Gaussian dropout where the dropout rates are learned, often leading to better models. The method is demonstrated through several experiments.

연구 동기 및 목표

• 베이지안 신경망을 위한 확률적 경량화 기반 추론(SGVB)에서 높은 분산 문제를 해결하여 효율적 최적화를 가능하게 하기.
• 전역 매개변수 불확실성을 각 데이터 포인트별 국소 노이즈로 재매개변수화하여 추론의 효율성과 확장성을 향상시키기.
• 고정된 드롭아웃 비율이 아닌 최적의 드롭아웃 비율을 학습함으로써 가우시안 드롭아웃을 일반화하여 더 민첩하고 적응형 정규화를 가능하게 하기.
• 제안된 방법이 표준 드롭아웃 및 기준 기반 추론보다 더 빠른 수렴과 더 나은 일반화 성능을 달성함을 입증하기.

제안 방법

• 전역 모델 가중치의 불확실성을 미니배치 내 각 데이터 포인트별로 독립적인 국소 노이즈로 변환하는 국소 재매개변수화 기법을 도입하기.
• 재매개변수화 기법을 활용해 미니배치 크기의 역수 비례로 분산이 감소하는 확률적 경량화 추정기법을 유도함으로써 효율적이고 병렬화 가능한 최적화를 가능하게 하기.
• 드롭아웃 비율을 가중치의 사후분포의 매개변수로 간주함으로써, 변분 드롭아웃을 가우시안 드롭아웃의 일반화로 공식화하기.
• 국소 재매개변수화를 변분 하한(ELBO)에 적용하여, 각 데이터 포인트에 특화된 랜덤 변수를 통해 노이즈를 통해 역전파를 수행할 수 있도록 하기.
• 스케일 불변의 사전분포와 고정된 사후분산을 사용하여, 가우시안 드롭아웃을 제안된 프레임워크의 특수 케이스로 복원하기.
• 각 가중치와 각 데이터 포인트당 하나의 랜덤 샘플만을 사용하여 방법을 구현함으로써, 표준 재매개변수화 대비 랜덤 변수의 수를 극적으로 감소시키기.

실험 결과

연구 질문

• RQ1 국소 재매개변수화가 신경망을 위한 변분 베이지안 추론에서 확률적 경량화의 분산을 줄여 더 빠른 수렴을 이끌 수 있는가?
• RQ2 제안된 방법이 표준 재매개변수화 및 기준 드롭아웃 대비 훈련 속도와 테스트 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 학습된 드롭아웃 비율을 가진 변분 드롭아웃이 고정 비율 드롭아웃 및 비적응형 가우시안 드롭아웃보다 일반화 성능에서 뛰어나게 되는가?
• RQ4 국소 재매개변수화 기법이 미니배치 훈련에서 계산 효율성과 병렬화에 어떤 영향을 미치는가?
• RQ5 이 방법이 다양한 네트워크 아키텍처와 데이터셋 크기에서 성능을 유지하거나 향상시키는가?

주요 결과

• 국소 재매개변수화 추정기법은 $1/M$ 비례로 분산이 감소함을 입증하였으며, 여기서 $M$은 미니배치 크기이며, 이는 표준 추정기법보다 극적으로 낮은 경량화 분산을 제공한다.
• 이 방법은 훈련 속도를 200배 빠르게 한다: 현대 GPU에서 표준 SGVB는 1에포크당 1635초, 국소 재매개변수화 기법은 1에포크당 7.4초이다.
• 적응형 드롭아웃 비율을 가진 변분 드롭아웃은 표준 드롭아웃 및 비적응형 가우시안 드롭아웃보다 성능이 뛰어나며, 특히 드롭아웃이 종종 과소적합을 유도하는 작은 네트워크에서 두드러진다.
• 적응형 변분 드롭아웃 방법은 MNIST와 CIFAR-10 모두에서 모든 기준 대비 낮은 테스트 오차를 기록하였으며, 특히 KL 발산 항을 3배로 감소시켰을 때 최고의 성능를 기록하였다.
• 확률적 경량화 추정기의 분산은 국소 재매개변수화 방법에서 가장 낮으며, 훈련 전반에 걸쳐 안정적으로 유지되며, 각 데이터 포인트나 미니배치별로 가중치를 샘플링하는 추정기법보다 뛰어나다.
• 이 방법은 가우시안 드롭아웃을 일반화하며, 국소 노이즈를 가진 변분 추론으로서 드롭아웃에 대한 원리적인 베이지안적 해석을 제공한다.