[논문 리뷰] Nonparametric variational inference

Samuel J. Gershman, Matt Hoffman외 1명|arXiv (Cornell University)|2012. 06. 18.

Gaussian Processes and Bayesian Inference참고 문헌 20인용 수 45

한 줄 요약

이 논문은 복잡한 다모드 사후 분포를 공액 가속 가족 사전 분포가 필요하지 않은 비모수적 변분 추론 방법을 소개한다. 커널 위치와 폭을 변분 매개변수로 간주함으로써, 주변 가능도의 하한을 최적화하여, 계층적 로지스틱 회귀 및 비선형 행렬 분해 모델에서 전문화된 변분 및 샘플링 방법과 비교해도 성능이 유사하거나 뛰어난 결과를 얻는다.

ABSTRACT

Variational methods are widely used for approximate posterior inference. However, their use is typically limited to families of distributions that enjoy particular conjugacy properties. To circumvent this limitation, we propose a family of variational approximations inspired by nonparametric kernel density estimation. The locations of these kernels and their bandwidth are treated as variational parameters and optimized to improve an approximate lower bound on the marginal likelihood of the data. Using multiple kernels allows the approximation to capture multiple modes of the posterior, unlike most other variational approximations. We demonstrate the efficacy of the nonparametric approximation with a hierarchical logistic regression model and a nonlinear matrix factorization model. We obtain predictive performance as good as or better than more specialized variational methods and sample-based approximations. The method is easy to apply to more general graphical models for which standard variational methods are difficult to derive.

연구 동기 및 목표

• 복잡한 사후 구조를 가진 비공액 모델을 다룰 때 표준 변분 추론의 한계를 해결하기 위해.
• 공액 가속 가족 분포에 의존하지 않고도 민감하고 비모수적인 사후 근사 방법을 제공하기 위해.
• 다양한 그래픽 모델에 적용 가능한 확장성 있고 일반적인 추론 프레임워크를 개발하기 위해.
• 다중 커널을 통해 다중 모드를 포착함으로써 사후 근사 품질을 향상시키기 위해.
• 특화된 변분 및 MCMC 기반 방법과 비슷하거나 뛰어난 예측 성능를 달성하기 위해.

제안 방법

• 학습 가능한 위치에 중심을 둔 커널의 혼합을 사용하여 변분 근사를 구성한다.
• 커널 폭을 변분 매개변수로 간주하고 커널 위치와 함께 최적화한다.
• 기울기 기반 최적화를 사용하여 주변 가능도의 변분 하한을 최대화한다.
• 커널 밀도 근사는 복잡한 사후 형태의 민감하고 비모수적인 모델링을 가능하게 한다.
• 표준 변분 방법을 유도하기 어려운 일반적인 그래픽 모델에 적용 가능하다.
• 지수 가족 분포에 의존하지 않고 커널 스무딩에 기반함으로써 강한 파rametric 가정을 피한다.

실험 결과

연구 질문

• RQ1 비모수적 변분 근사는 복잡한 모델에서 다중 모드 사후 분포를 효과적으로 모델링할 수 있는가?
• RQ2 이 커널 기반 변분 방법의 성능은 전문화된 변분 및 MCMC 접근법과 비교해 어떻게 되는가?
• RQ3 비공액성으로 인해 표준 변분 추론이 비가능한 모델에도 이 방법을 적용할 수 있는가?
• RQ4 커널 폭과 위치 최적화는 변분 근사 품질에 어떤 영향을 미치는가?
• RQ5 이 방법은 지수 가족 지수 가족을 초월한 다양한 유형의 그래픽 모델에 일반화되는가?

주요 결과

• 비모수적 변분 추론 방법은 계층적 로지스틱 회귀에서 전문화된 변분 방법과 비슷하거나 뛰어난 예측 성능를 달성한다.
• 비선형 행렬 분해에서, 이 방법은 표준 변분 추론을 능가하고 MCMC 기반 근사와 비슷하거나 뛰어난 예측 정확도를 보인다.
• 이 방법은 표준 평균-장 변분 추론에서 자주 부족한 다중 모드를 성공적으로 포착한다.
• 커널 위치와 폭 최적화는 고정 커널 대비 더 타이트한 주변 가능도 하한을 달성한다.
• 이 방법은 강건하고 일반화 가능하여, 표준 변분 방법을 유도하기 어려운 모델에서도 효과적인 추론을 가능하게 한다.