[논문 리뷰] Convergence of Proximal-Gradient Stochastic Variational Inference under Non-Decreasing Step-Size Sequence.

Mohammad Emtiyaz Khan, Reza Babanezhad외 3명|arXiv (Cornell University)|2015. 10. 31.

Gaussian Processes and Bayesian Inference참고 문헌 22인용 수 6

한 줄 요약

이 논문은 변분 하한의 기하학적 구조를 활용하여 비감소하는 스텝 사이즈 하에서 수렴을 보장하는 프록시멀-그레디언트 스토하스틱 변분 추론 방법을 제안한다. 이는 기존의 스토하스틱 방법이 수렴을 위해 감소하는 스텝 사이즈가 필요로 하는 것과는 달리, 변분-가우시안 추론에서 더 빠른 수렴을 가능하게 한다.

ABSTRACT

Stochastic approximation methods have recently gained popularity for variational inference, but many existing approaches treat them as black-box tools. Thus, they often do not take advantage of the geometry of the posterior and usually require a decreasing sequence of step-sizes (which converges slowly in practice). We introduce a new stochastic-approximation method that uses a proximal-gradient framework. Our method exploits the geometry and structure of the variational lower bound, and contains many existing methods, such as stochastic variational inference, as a special case. We establish the convergence of our method under a non-decreasing step-size schedule, which has both theoretical and practical advantages. We consider setting the step-size based on the continuity of the objective and the geometry of the posterior, and show that our method gives a faster rate of convergence for variational-Gaussian inference than existing stochastic methods.

연구 동기 및 목표

• 기존의 스토하스틱 변분 추론 방법이 감소하는 스텝 사이즈에 의존함으로써 발생하는 느린 수렴 문제를 해결하기 위해.
• 변분 하한의 기하학적 구조를 활용하여 최적화 효율을 향상시키기 위해.
• 비감소 스텝 사이즈 스케줄 하에서 이론적 수렴을 확립하여 실무에서 더 실용적이고 빠른 수렴을 달성하기 위해.
• 기존의 방법들인 스토하스틱 변분 추론을 더 넓은 프록시멀-그레디언트 프레임워크 안에서 통합하기 위해.

제안 방법

• 이 방법은 사후 분포의 곡률과 구조를 고려하여 변분 하한을 최적화하기 위해 프록시멀-그레디언트 프레임워크를 활용한다.
• 기존의 방법과 대조적으로 감소하는 스텝 사이즈가 필요로 하는 것과는 달리, 비감소 스텝 사이즈 시퀀스를 사용한다.
• 목적 함수의 비연속 성분을 다루기 위해 프록시멀 연산자를 통합한다.
• 스토하스틱 변분 추론을 프록시멀-그레디언트 공식화의 특수한 경우로 포함시킴으로써 기존 방법을 일반화한다.
• 수렴 속도를 향상시키기 위해 목적 함수의 연속성과 사후 분포 기하학을 바탕으로 스텝 사이즈를 설정한다.

실험 결과

연구 질문

• RQ1 스토하스틱 변분 추론은 비감소 스텝 사이즈 스케줄 하에서도 수렴할 수 있는가?
• RQ2 변분 하한의 기하학을 활용할 경우 수렴 속도는 어떻게 향상되는가?
• RQ3 비감소 스텝을 사용하는 프록시멀-그레디언트 접근의 이론적 수렴 행동은 어떠한가?
• RQ4 제안된 방법은 변분-가우시안 추론에서 기존의 스토하스틱 방법과 정량적으로 어떻게 비교되는가?

주요 결과

• 제안된 방법은 비감소 스텝 사이즈 스케줄 하에서도 수렴을 달성하며, 이는 이론적으로나 실무적으로 유리한 특성을 지닌다.
• 기존의 스토하스틱 방법보다 변분-가우시안 추론에서 더 빠른 수렴 속도를 제공한다.
• 기존의 표준 스토하스틱 변분 추론을 특수한 경우로 포함함으로써 그 적용 범위와 유연성을 넓힌다.
• 사후 분포 기하학과 목적 함수의 연속성을 활용함으로써 스텝 사이즈 감소 없이도 더 효율적인 최적화를 가능하게 한다.