[논문 리뷰] A Variational Analysis of Stochastic Gradient Algorithms

Stephan Mandt, Matthew D. Hoffman외 1명|arXiv (Cornell University)|2016. 02. 08.

Stochastic Gradient Optimization Techniques참고 문헌 20인용 수 58

한 줄 요약

이 논문은 Kullback-Leibler 발산 최소화를 통해 상수 학습률을 사용하는 확률적 경사하강법(SGD)의 정적 분포를 진짜 사후분포와 일치시킴으로써, 이를 변분 추론 방법으로 제안한다. 다변량 온스타인-울렌벡(Ornstein-Uhlenbeck) 과정으로 SGD를 모델링함으로써, 사후분포와 일치하는 최적의 학습률과 전처리 행렬을 유도하며, 이는 효율적인 근사 베이지안 추론과 하이퍼파rameter 최적화를 가능하게 한다.

ABSTRACT

Stochastic Gradient Descent (SGD) is an important algorithm in machine learning. With constant learning rates, it is a stochastic process that, after an initial phase of convergence, generates samples from a stationary distribution. We show that SGD with constant rates can be effectively used as an approximate posterior inference algorithm for probabilistic modeling. Specifically, we show how to adjust the tuning parameters of SGD such as to match the resulting stationary distribution to the posterior. This analysis rests on interpreting SGD as a continuous-time stochastic process and then minimizing the Kullback-Leibler divergence between its stationary distribution and the target posterior. (This is in the spirit of variational inference.) In more detail, we model SGD as a multivariate Ornstein-Uhlenbeck process and then use properties of this process to derive the optimal parameters. This theoretical framework also connects SGD to modern scalable inference algorithms; we analyze the recently proposed stochastic gradient Fisher scoring under this perspective. We demonstrate that SGD with properly chosen constant rates gives a new way to optimize hyperparameters in probabilistic models.

연구 동기 및 목표

• 상수 학습률을 가진 확률적 경사하강법(SGD)을 실용적인 근사 베이지안 추론 방법으로 재해석하는 것.
• SGD의 정적 분포와 진짜 사후분포 사이의 쿨백-라이블러(KL) 발산을 최소화하는 것.
• SGD의 최적의 튜닝 파ram터—학습률, 미니배치 크기, 전처리 행렬—를 유도하여 사후분포와 일치시키는 것.
• 온스타인-울렌벡 과정 프레임워크를 사용하여 확률적 경사 피셔 스코링(SGFS)에 대한 이론적 근거를 제공하는 것.
• 일관된 학습률을 가진 단일 SGD 실행을 통해 동시에 사후분포 추론과 하이퍼파rameter 최적화를 수행할 수 있도록 하는 것.

제안 방법

• SGD를 연속시간 다변량 온스타인-울렌벡(OU) 과정으로 모델링하여 그 정적 분포를 해석적으로 특성화하는 것.
• OU 과정의 성질을 이용해 정적 분포와 목표 사후분포 사이의 KL 발산을 닫힌 형태로 계산하는 것.
• KL 발산을 최소화함으로써 최적의 학습률과 전처리 행렬을 유도하며, 이를 최적점에서의 헤시안 행렬과 노이즈 공분산에 연결하는 것.
• 이 프레임워크를 적용하여 확률적 경사 피셔 스코링(SGFS)을 분석하고 그 전처리 행렬이 이 변분 시각에서 최적임을 보여주는 것.
• SGFS의 자유 노이즈 파ram터에 대한 기준을 제안하여 수치적 안정성을 향상시키고, 대각 전처리 행렬 근사의 영향을 분석하는 것.
• 상수 학습률을 가진 SGD가 동시에 사후분포에서 샘플링하고 하이퍼파rameter를 최적화할 수 있음을 보여주는 것.

실험 결과

연구 질문

• RQ1 상수 학습률을 가진 확률적 경사하강법(SGD)은 유효한 근사 베이지안 추론 방법으로 사용될 수 있는가?
• RQ2 SGD의 정적 분포와 진짜 사후분포 사이의 KL 발산을 최소화하는 데 최적의 학습률, 미니배치 크기, 전처리 행렬 값은 무엇인가?
• RQ3 온스타인-울렌벡 과정 근사가 SGD의 정적 분포와 KL 발산을 해석적으로 계산하는 데 어떻게 기여하는가?
• RQ4 제안된 변분 프레임워크 하에서 확률적 경사 피셔 스코링(SGFS)에서 사용되는 전처리 행렬은 최적인가?
• RQ5 상수 학습률을 가진 SGD는 베이지안 모델에서 동시에 사후분포 추론과 하이퍼파rameter 최적화를 수행하는 데 사용될 수 있는가?

주요 결과

• 적절한 파ram터를 가진 상수 학습률을 가진 SGD의 정적 분포는 진짜 사후분포와 밀접하게 근사되며, 이는 SGD를 통한 변분 추론을 가능하게 한다.
• 최적의 학습률은 노이즈 공분산 행렬의 추적(trace)의 역수에 비례하며, 이는 적응 필터링의 안정성 및 성능 원칙과 일치한다.
• SGD에 대한 최적의 전처리 행렬은 노이즈 공분산 행렬의 역행렬이며, 이는 SGFS 방법을 정당화하고 일반화한다.
• 이 프레임워크는 정적 분포와 사후분포 사이의 KL 발산에 대해 닫힌 형태의 표현식을 제공하여 하이퍼파rameter의 해석적 최적화를 가능하게 한다.
• 이 방법은 단일 SGD 실행을 통해 동시에 사후분포 샘플링과 하이퍼파rameter 최적화를 수행할 수 있으며, 정규 prior를 가진 베이지안 다항 로지스틱 회귀에서 이를 입증하였다.
• 이론적 분석을 통해 AdaGrad, RMSProp, 고전적 피셔 스코링이 다양한 가정 하에 제안된 변분 프레임워크의 특수한 경우로 나타남을 밝혀냈다.