[논문 리뷰] Fast Variational Inference in the Conjugate Exponential Family

James Hensman, Magnus Rattray외 1명|arXiv (Cornell University)|2012. 06. 22.

Gaussian Processes and Bayesian Inference참고 문헌 18인용 수 78

한 줄 요약

이 논문은 공액 지수족 모델에서 빠른 변분 추론을 위한 통합 프레임워크를 제안한다. 이는 공액 그래디언트를 통한 효율적 최적화를 가능하게 하는 축소된 변분 경계를 유도함으로써 이루어진다. 이 방법은 표준 변분 추론 대비 최대 10배 빠른 속도 향상을 달성하며, 가우스 혼합 모델, LDA, RNA-Seq 모델에서의 실험 결과는 수렴 성능 향상을 뚜렷이 보여준다.

ABSTRACT

We present a general method for deriving collapsed variational inference algo- rithms for probabilistic models in the conjugate exponential family. Our method unifies many existing approaches to collapsed variational inference. Our collapsed variational inference leads to a new lower bound on the marginal likelihood. We exploit the information geometry of the bound to derive much faster optimization methods based on conjugate gradients for these models. Our approach is very general and is easily applied to any model where the mean field update equations have been derived. Empirically we show significant speed-ups for probabilistic models optimized using our bound.

연구 동기 및 목표

• 공액 지수족 모델에 적용 가능한 단일 프레임워크로 기존의 축소된 변분 추론 접근법을 통합한다.
• 곡률를 활용한 더 빠른 최적화를 가능하게 하는 마진널 가능도에 대한 새로운 하한을 유도한다.
• 축소된 경계의 정보 기하학을 활용하여 공액 그래디언트를 통한 효율적 최적화를 가능하게 한다.
• Infer.NET과 같은 자동 추론 도구에의 통합을 용이하게 하기 위해 일반적이고 즉시 사용 가능한 방법을 제공한다.
• LDA 및 RNA-Seq와 같은 대규모 모델에서 수렴 속도 향상의 상당한 성과를 보여준다.

제안 방법

• KL-보정 경계 프레임워크를 사용하여 기존 접근법을 하나의 공식화로 통합하는 축소된 변분 경계를 유도한다.
• d-분리 테스트를 적용하여 분석적으로 제거할 수 있는 사전 분포 변수를 식별함으로써 최적화 경계를 단순화한다.
• 표준 변분 추론을 축소된 경계에서의 가장 급격한 상승으로 재정의함으로써 자연 그래디언트 및 공액 그래디언트 최적화를 가능하게 한다.
• 경계의 정보 기하학을 활용하여 곡률 인식 검색 방향을 계산함으로써 더 크고 효율적인 최적화 단계를 허용한다.
• 특히 Fletcher-Reeves 및 Hestenes-Steifel 변형을 사용한 공액 그래디언트 방법을 축소된 경계에 적용하여 수렴 속도를 가속화한다.
• 기존의 평균장 알고리즘에 최소한의 코드 수정만으로 VBEM에서 공액 그래디언트 최적화로 전환할 수 있는 간단한 확장 제공

실험 결과

연구 질문

• RQ1 모든 공액 지수족 모델에 대해 축소된 변분 추론을 위한 통합 프레임워크를 개발할 수 있는가?
• RQ2 최적화 효율성 측면에서 축소된 변분 경계는 표준 평균장 변분 추론보다 어떻게 다를까?
• RQ3 공액 그래디언트 방법은 대규모 확률 모델에서 수렴 속도를 상당히 가속화할 수 있는가?
• RQ4 곡률 인식 최적화의 영향은 수렴 속도와 해의 품질에 어떤가?
• RQ5 이 방법은 Infer.NET과 같은 자동 추론 엔진에 얼마나 잘 통합될 수 있는가?

주요 결과

• LDA 모델에서 Fletcher-Reeves 공액 그래디언트 방법은 최적화 시간을 370분에서 38.5분으로 줄여 90%의 속도 향상을 달성했다.
• RNA-Seq 모델에서는 공액 그래디언트 방법이 268회 반복(1회당 약 8초) 내에 수렴했고, 표준 VBEM은 4,459회 반복을 요구하여 시간을 약 11시간에서 약 40분으로 줄였다.
• 축소된 경계가 표준 평균장 경계보다 стрict하게 더 탴한 것을 입증하여 더 큰 최적화 단계와 더 빠른 수렴을 가능하게 했다.
• 표준 VBEM이 좋은 해를 찾지 못한 가우스 혼합 모델에서도 이 방법은 수렴을 달성하여 더 뛰어난 강건성을 입증했다.
• 기존 추론 파이프라인에 쉽게 통합 가능하며, VBEM에서 공액 그래디언트 최적화로 전환하기 위해 몇 줄의 코드만 추가하면 된다.
• 실험 결과 이 방법은 다양한 모델에서 표준 VBEM을 일관되게 능가했으며, 최대 10배의 속도 향상을 보였다.