[논문 리뷰] Local Expectation Gradients for Doubly Stochastic Variational Inference

Michalis K. Titsias|arXiv (Cornell University)|2015. 03. 04.

Gaussian Processes and Bayesian Inference참고 문헌 12인용 수 6

한 줄 요약

이 논문은 국소 기대값 기울기(LEG)를 소개한다. LEG는 각 변분 매개변수와 가장 관련성이 높은 잠재 변수에 대해 해석적으로 미리 평균을 내어, 제어 변수 없이 레오-블랙웰라이즈드 추정을 달성하는 저분산 스토하스틱 변분 추론 방법이다. 이 방법은 연속형 및 이산형 잠재 변수 모두에 대해 효율적이고 병렬화 가능한 최적화를 가능하게 하여, 표준 로그-도함수 및 재정의 기반 기준선보다 안정성과 수렴성에서 뛰어나다.

ABSTRACT

We introduce local expectation gradients which is a general purpose stochastic variational inference algorithm for constructing stochastic gradients through sampling from the variational distribution. This algorithm divides the problem of estimating the stochastic gradients over multiple variational parameters into smaller sub-tasks so that each sub-task exploits intelligently the information coming from the most relevant part of the variational distribution. This is achieved by performing an exact expectation over the single random variable that mostly correlates with the variational parameter of interest resulting in a Rao-Blackwellized estimate that has low variance and can work efficiently for both continuous and discrete random variables. Furthermore, the proposed algorithm has interesting similarities with Gibbs sampling but at the same time, unlike Gibbs sampling, it can be trivially parallelized.

연구 동기 및 목표

• 이중 스토하스틱 변분 추론에서 높은 분산을 가지는 기울기를 해결하기 위해, 특히 이산 잠재 변수를 포함한 비공액 모델에 대해.
• 로그-도함수 기반 방법에서 복잡한 제어 변수에 의존하는 것을 제거하기 위해, 제어 변수를 구축하기 어려우며 모델에 특화된 문제를 해결하기 위해.
• 연속형 및 이산형 잠재 변수 모두에 적용 가능한 일반적인 목적의 저분산 기울기 추정 기법을 개발하기 위해.
• 요약 분포의 국소 조건부 독립성을 활용하여, 효율적이고 병렬화 가능한 최적화를 가능하게 하기 위해.
• 혼합 이산-연속 구조를 가진 모델, 예를 들어 시그모이드 신뢰망에서 수렴 안정성과 성능을 향상시키기 위해.

제안 방법

• 각 변분 매개변수에 대해 기울기 추정을 하위 작업들로 분해하며, 각 작업은 관심 있는 매개변수와 가장 관련성이 높은 단일 잠재 변수에 집중한다.
• 각 변분 매개변수 $\mathbf{v}_k$에 대해, 관련된 잠재 변수 $x_k$에 대한 정확한 기대값을 계산하고, 나머지 변수들은 샘플링한다.
• 이로 인해 표준 로그-도함수 추정기보다 분산이 크게 감소한 레오-블랙웰라이즈드 기울기 추정이 도출된다.
• 이 방법은 연속형 및 이산형 잠재 변수 모두에 적용 가능하며, 재정의나 제어 변수가 필요 없게 된다.
• 알고리즘은 길버트 샘플링과 유사하지만, 길버트 샘플링과 달리 간단한 병렬화가 가능하다.
• 각 $\mathbf{v}_k$의 기울기는 식 (19)에 나타나 있는 바와 같이 시그모이드 변분 분포와 모델 우도를 포함한 닫힌 형태의 표현식을 통해 계산된다.

실험 결과

연구 질문

• RQ1 제어 변수에 의존하지 않고, 저분산 스토하스틱 기울기를 구성할 수 있는가?
• RQ2 요약된 변분 분포에서 국소 조건부 독립성을 활용하여 분산을 줄일 수 있는가?
• RQ3 제안된 방법이 기존의 로그-도함수 및 재정의 기반 접근법보다 수렴 안정성과 속도 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 이산형 및 연속형 잠재 변수 모두에서 저분산을 유지하면서 효율적으로 병렬화할 수 있는가?
• RQ5 시그모이드 신뢰망과 같은 복잡한 모델, 특히 혼합 이산-연속 잠재 구조를 가진 모델에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 국소 기대값 기울기 방법은 최신 재정의 기법보다 특히 연속 공간에서 더 낮은 분산의 스토하스틱 기울기를 생성한다.
• LdGrad와는 달리 고분산 문제로 인한 악성 국소 최적점에 수렴하는 경우가 적어 더 빠르고 안정적으로 수렴한다.
• K=200개의 은닉 유닛을 가진 이진화된 MNIST 데이터셋에서의 실험 결과, 높은 품질의 재구성과 안정적인 학습 동역학을 달성했다.
• 이 방법은 각 데이터 포인트에 대해 한 번의 추론 단계로 인식(변분) 및 생성(모델) 매개변수를 동시에 효율적으로 최적화할 수 있다.
• 이 방법은 다양한 모델 아키텍처에 대해 강건하며, 문제에 특화된 분산 감소 기법이 필요하지 않다.
• 알고리즘의 구조는 길버트 샘플링과 달리 간단한 병렬화가 가능하므로, 대규모 모델에 대한 확장성 확보에 유리하다.