[논문 리뷰] Gamma Processes, Stick-Breaking, and Variational Inference

Anirban Roychowdhury, Brian Kulis|arXiv (Cornell University)|2014. 10. 04.

Bayesian Methods and Mixture Models참고 문헌 18인용 수 10

한 줄 요약

이 논문은 베이지안 비모수 모델에서 효율적인 변분 추론을 가능하게 하는 감마 과정에 대한 새로운 스틱 브레이킹 구조를 제안한다. 포아송 과정의 기법을 활용해 비율 측도와 잘라내기 오차 한계를 유도함으로써, 저자들은 스케일러블한 변분 알고리즘(VGP)을 개발하였으며, 이는 비모수 행렬 분해 과제에서 샘플링 기반 방법과 베타-베르누이 사전을 사용하는 변분 접근법보다 뛰어나며, 특히 대규모 데이터에서 뛰어난 성능을 보인다.

ABSTRACT

While most Bayesian nonparametric models in machine learning have focused on the Dirichlet process, the beta process, or their variants, the gamma process has recently emerged as a useful nonparametric prior in its own right. Current inference schemes for models involving the gamma process are restricted to MCMC-based methods, which limits their scalability. In this paper, we present a variational inference framework for models involving gamma process priors. Our approach is based on a novel stick-breaking constructive definition of the gamma process. We prove correctness of this stick-breaking process by using the characterization of the gamma process as a completely random measure (CRM), and we explicitly derive the rate measure of our construction using Poisson process machinery. We also derive error bounds on the truncation of the infinite process required for variational inference, similar to the truncation analyses for other nonparametric models based on the Dirichlet and beta processes. Our representation is then used to derive a variational inference algorithm for a particular Bayesian nonparametric latent structure formulation known as the infinite Gamma-Poisson model, where the latent variables are drawn from a gamma process prior with Poisson likelihoods. Finally, we present results for our algorithms on nonnegative matrix factorization tasks on document corpora, and show that we compare favorably to both sampling-based techniques and variational approaches based on beta-Bernoulli priors.

연구 동기 및 목표

• 베이지안 비모수 모델에서 감마 과정 사전을 위한 스케일러블한 추론 방법의 부족을 해결하기 위해.
• 현재 느린 MCMC 방법에 의존하는 감마 과정 기반 모델을 위한 변분 추론 프레임워크를 개발하기 위해.
• 스틱 브레이킹을 통해 감마 과정의 구성적이고 해석 가능한 표현을 제공함으로써, 평균장 변분 추론을 가능하게 하기 위해.
• 변분 추론에서 무한 감마 과정을 잘라내는 데 발생하는 이론적 오차 한계를 유도하며, 기존 딜리클레 및 베타 과정에 대한 유사한 한계와 비교하기 위해.
• 실세계 비음수 행렬 분해 과제에서 제안된 방법을 평가하고, 샘플링 및 다른 변분 기반 기준과 비교하기 위해.

제안 방법

• 완전 무작위 측도(CRM)로 특성화된 감마 과정의 새로운 스틱 브레이킹 구조를 제안하며, 포아송 과정 성질을 활용해 비율 측도를 유도한다.
• 감마 과정의 레비 측도를 사용하여 스틱 브레이킹 구조의 정확성을 검증함으로써, 기저의 CRM과 일치하는지 확인한다.
• 무한 스틱 브레이킹 과정을 잘라내는 데 대한 이론적 오차 한계를 유도하며, 딜리클레 및 베타 과정에 대한 기존 한계와 유사하게 한다.
• 자르기된 스틱 브레이킹 표현을 활용해 포아송 우도를 가진 무한 감마-포아송 모델을 위한 평균장 변분 추론 알고리즘(VGP)을 구성한다.
• 기준 기반 갈리브스 샘플링 알고리즘에서 매개변수의 주변화를 위해 몬테 카를로 통합을 사용한다.
• 학습률이 약 10^-4 수준인 경사 상승법을 사용하여 잘라낸 감마 과정 가중치와 모델 매개변수를 동시에 최적화하는 변분 알고리즘을 구현한다.

실험 결과

연구 질문

• RQ1 디릴레 및 베타 과정과 유사하게, 감마 과정에 대해 구성적인 스틱 브레이킹 표현을 도출할 수 있는가?
• RQ2 이 스틱 브레이킹 구조를 사용하여 감마 과정 사전을 위한 해석 가능한 변분 추론 알고리즘을 도출할 수 있는가?
• RQ3 변분 추론에서 무한 감마 과정을 잘라내는 데 발생하는 이론적 오차는 무엇이며, 이를 한계로 제시할 수 있는가?
• RQ4 제안된 변분 추론 알고리즘(VGP)은 실세계 비음수 행렬 분해 과제에서 샘플링 기반 방법과 베타-베르누이 사전을 사용하는 변분 방법과 비교해 스케일러비ilty와 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 대규모 데이터셋에서 특히 빠른 수렴과 런타임을 달성하면서도, VGP 알고리즘이 높은 우도 성능을 유지하는가?

주요 결과

• 모든 실세계 데이터셋에서 VGP 알고리즘이 갈리브스 샘플러보다 더 높은 테스트 로그 우도 점수를 기록하였으며, 이는 더 나은 일반화 성능을 의미한다. 예를 들어, PsyRev에서는 -7.23 vs. -7.45, KOS에서는 유사한 결과를 기록하였다.
• VGP 알고리즘은 15회 이터레이션 이내에 수렴하여 테스트된 모든 방법 중에서 가장 빠른 수렴 속도를 보였다.
• 대규모 NYT 데이터셋(30만 개 문서)에서 VGP는 VIBP 및 VBP보다 수십 배 빠른 성능을 보였으며, 1회 반복에 약 45초가 소요된 반면, 다른 방법들은 3분 이상이 소요되었다.
• 작소형 데이터셋에서는 VIBP가 폐쇄형 업데이트 덕분에 가장 잘 스케일링되었지만, VGP는 우도 측면에서 유사하거나 略로 뛰어나고, 수렴 속도 측면에서 크게 앞섰다.
• VGP 알고리즘의 성능은 몇 시간의 런타임 이후에는 잘라내기 요소 K의 선택에 거의 영향을 받지 않았으며, 이는 잘라내기 선택에 대해 매우 강건함을 시사한다.
• 샘플링 기반 방법(SGP)은 상당히 느렸으며, 소규모 데이터셋에서는 1회 반복에 약 7분, NYT에서는 약 100분이 소요되었고, 실세계 데이터에서 경쟁 가능한 우도 점수를 달성하지 못하였다. 반면, 변분 방법들은 이에 비해 뛰어난 성능을 보였다.