[논문 리뷰] Online but Accurate Inference for Latent Variable Models with Local Gibbs Sampling

Dupuy, Christophe, Bach, Francis|arXiv (Cornell University)|2016. 03. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 30

한 줄 요약

이 논문은 랜덤 변수 모델에 대한 새로운 온라인 추론 방법을 제안하며, 국소적 깁스 샘플링을 사용하여 대규모 환경에서 정확하고 확장 가능한 매개변수 추정을 가능하게 한다. 관측값별 깁스 업데이트를 통한 온라인 학습에 마르코프 체인 몬테 카를로(MCMC) 기법을 적용함으로써, 특히 고차원 잠재 공간을 가진 잠재 디리클레 분할(LDA)에서 변분 추론 및 베이지안 방법보다 뛰어난 테스트 로그우도를 달성한다.

ABSTRACT

We study parameter inference in large-scale latent variable models. We first propose an unified treatment of online inference for latent variable models from a non-canonical exponential family, and draw explicit links between several previously proposed frequentist or Bayesian methods. We then propose a novel inference method for the frequentist estimation of parameters, that adapts MCMC methods to online inference of latent variable models with the proper use of local Gibbs sampling. Then, for latent Dirich-let allocation,we provide an extensive set of experiments and comparisons with existing work, where our new approach outperforms all previously proposed methods. In particular, using Gibbs sampling for latent variable inference is superior to variational inference in terms of test log-likelihoods. Moreover, Bayesian inference through variational methods perform poorly, sometimes leading to worse fits with latent variables of higher dimensionality.

연구 동기 및 목표

• 비표준 지수족 프레임워크 내에서 기존의 온라인 추론 방법들을 통합하고 비교하는 것.
• 잠재 후행분포가 계산이 불가능한 모델(예: LDA)에서 온라인 매개변수 추정의 확장성과 정확성 격차를 해결하는 것.
• 향상된 수렴성과 예측 성능을 위해 국소적 깁스 샘플링을 활용하는 새로운 빈도주의 온라인 추론 방법을 개발하는 것.
• 다양한 데이터셋에서 테스트 로그우도 및 퍼플렉서티 측면에서 최신 기법들과의 비교를 통해 제안된 방법을 경험적으로 평가하는 것.

제안 방법

• 비표준 지수족 모델에 대한 온라인 추론을 위한 통합 프레임워크를 제안하며, 빈도주의와 베이지안 접근법을 연결한다.
• 국소적 깁스 샘플링을 사용하는 새로운 온라인 알고리즘을 도입하며, 전체적으로가 아니라 들어오는 각 관측값에 대해 잠재 변수를 업데이트한다.
• 온라인 스트림에서 개별 관측값에 대해 MCMC 샘플링을 적용하며, 충분통계량을 유지하고 모델 매개변수를 점진적으로 업데이트한다.
• 국소적 깁스 샘플에서 유도된 충분통계량을 사용하여 모델 매개변수를 확률적 근사 기법으로 업데이트한다.
• 각 새로운 관측값이 도착할 때마다 국소적 깁스 업데이트를 수행하고 나서 매개변수 업데이트를 수행하는 비-i.i.d. 데이터 스트림 설정을 사용한다.
• 디리클레 초모수 α에 대해 고정점 업데이트와 감마 prior 업데이트를 모두 사용하며, 다양한 방법 간의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 MCMC 기반 추론은 잠재 후행분포가 계산이 불가능한 잠재 변수 모델에서 온라인 학습에 어떻게 적응시킬 수 있는가?
• RQ2 비표준 지수족의 맥락에서 기존의 온라인 추론 방법들 간의 주요 차이점과 연결 고리는 무엇인가?
• RQ3 온라인 환경에서 국소적 깁스 샘플링은 예측 성능(예: 테스트 로그우도) 측면에서 변분 추론보다 뛰어나다고 할 수 있는가?
• RQ4 잠재 변수의 차원 수가 변분 베이지안 추론 방법과 MCMC 기반 온라인 추론의 성능에 어떤 영향을 미치는가?
• RQ5 LDA에서 온라인 깁스 샘플링은 최신 기술인 온라인 변분 추론보다 더 좋은 수렴성과 낮은 퍼플렉서티를 달성할 수 있는가?

주요 결과

• 제안된 온라인 깁스 샘플링 방법은 모든 데이터셋과 주제 차원에서 변분 추론보다 유의미하게 높은 테스트 로그우도를 달성한다.
• LDA의 경우, 퍼플렉서티 측면에서 OLDA 및 SVB를 포함한 이전에 제안된 모든 온라인 추론 기법보다 성능이 뛰어나다.
• 변분 베이지안 추론은 고차원 잠재 공간에서 성능이 떨어지며, 때로는 저차원 경우보다 더 나쁜 피팅을 보이기도 한다.
• ELBO(evidence lower bound)는 빠르게 수렴하며 내부 반복 수가 더 많아져도 크게 향상되지 않아, 부분 최적값으로 조기에 수렴하는 것으로 나타났다.
• α에 대해 고정점 업데이트를 사용할 경우 감마 prior 업데이트보다 대부분의 경우 성능이 뛰어나며, 특히 G-OEM 및 G-OEM++에서 그러한 경향이 뚜렷하다.
• κ = 1/2 이며 α에 대해 감마 업데이트를 사용하는 방법은 SPLDA와 동일하지만, κ = 1/2 이며 α 업데이트 전략을 어떤 방식으로 적용해도 성능이 향상된다.