[논문 리뷰] Exact slice sampler for Hierarchical Dirichlet Processes

Arash A. Amini, Marina Silva Paez외 2명|arXiv (Cornell University)|2019. 03. 21.

Bayesian Methods and Mixture Models참고 문헌 5인용 수 5

한 줄 요약

이 논문은 히에라르키컬 디리클레 프로세스(HDP)에 대한 처음으로 정확한 슬라이스 샘플러를 제안하며, 무한차원의 계층적 측도에서의 샘플링에 도전하는 데 성공한다. 베이지안 변수 보완을 통해 결합 사후분포의 완전한 인수분해를 가능하게 함으로써, 빠른 혼합성, 천연적인 절단, 효율적인 병렬 처리를 달성한다. 이는 합성 및 실제 주제 모델링 실험에서 빠른 수렴을 통해 입증되었다.

ABSTRACT

We propose an exact slice sampler for Hierarchical Dirichlet process (HDP) and its associated mixture models (Teh et al., 2006). Although there are existing MCMC algorithms for sampling from the HDP, a slice sampler has been missing from the literature. Slice sampling is well-known for its desirable properties including its fast mixing and its natural potential for parallelization. On the other hand, the hierarchical nature of HDPs poses challenges to adopting a full-fledged slice sampler that automatically truncates all the infinite measures involved without ad-hoc modifications. In this work, we adopt the powerful idea of Bayesian variable augmentation to address this challenge. By introducing new latent variables, we obtain a full factorization of the joint distribution that is suitable for slice sampling. Our algorithm has several appealing features such as (1) fast mixing; (2) remaining exact while allowing natural truncation of the underlying infinite-dimensional measures, as in (Kalli et al., 2011), resulting in updates of only a finite number of necessary atoms and weights in each iteration; and (3) being naturally suited to parallel implementations. The underlying principle for joint factorization of the full likelihood is simple and can be applied to many other settings, such as designing sampling algorithms for general dependent Dirichlet process (DDP) models.

연구 동기 및 목표

• 기존 문헌에서 부재했던 히에라르키컬 디리클레 프로세스(HDP)에 대한 완전한 정확한 슬라이스 샘플러를 개발하기 위해.
• HDP의 무한차원 측도에서의 샘플링 문제를 적당한 절단이나 근사 없이 해결하기 위해.
• 베이지안 변수 보완을 활용하여 HDP 혼합 모델에서 효율적이고 병렬 처리 가능한 MCMC 추론을 가능하게 하기 위해.
• 슬라이스 샘플링을 위한 일반적이고 접근하기 쉬운 프레임워크를 HDP 기반 의존 디리클레 프로세스 모델에 제공하기 위해.

제안 방법

• HDP의 결합 사후분포의 완전한 인수분해를 달성하기 위해, 베이지안 변수 보완을 통해 잠재 변수를 도입한다.
• 사후분포 갱신을 단순화하고 정확한 슬라이스 샘플링을 가능하게 하는 공동 밀도 인수분해를 유도한다.
• 슬라이스 샘플링을 사용하여 잠재 변수와 절단 수준을 동시에 갱신함으로써, 각 반복에서 필수적인 원소와 가중치만 갱신되도록 보장한다.
• 정규분포 및 다항분포 우도를 갖는 HDP 혼합 모델에 샘플러를 적용하고, 원소와 클러스터 할당에 대해 공액 사후분포 갱신식을 유도한다.
• 천연적인 절단을 구현하여, 각 반복에서 유한한 계산 비용을 유지하면서도 정확성을 유지한다.
• 인수분해된 사후분포를 활용해 그룹과 클러스터 간에 독립적으로 계산 가능한 효율적인 병렬 갱신을 가능하게 한다.

실험 결과

연구 질문

• RQ1 히에라르키컬 디리클레 프로세스의 무한차원 계층적 구조에도 불구하고, 정확한 슬라이스 샘플러를 구성할 수 있는가?
• RQ2 슬라이스 샘플링의 요구사항, 특히 자동 절단과 관련하여 HDP의 계층적 성격은 어떻게 조화를 이룰 수 있는가?
• RQ3 베이지안 변수 보완은 HDP 슬라이스 샘플링을 위한 완전한 사후분포 인수분해를 가능하게 하는 데 어떤 역할을 하는가?
• RQ4 기존의 깁스 및 스플릿-머지 MCMC 방법과 비교해 볼 때, 제안된 샘플러의 혼합 속도와 수렴 성능은 어떠한가?
• RQ5 유도된 공동 인수분해는 다른 의존 디리클레 프로세스 모델로 일반화될 수 있는가?

주요 결과

• 제안된 슬라이스 샘플러는 빠른 혼합성을 보이며, 합성 데이터에서 10~20회 반복 이내로 정규화된 상호정보량(NMI)이 근사 최적 수준에 도달한다.
• J=894개 문서를 포함한 실제 논문 제목 데이터셋에서, 100회 반복 후 NMI ≈ 0.35–0.40을 기록하여 진정한 주제 레이블을 효과적으로 복구한 것으로 나타났다.
• 알고리즘은 각 반복에서 유한한 수의 원소와 가중치만 갱신함으로써 무한 측도를 자연스럽게 절단하며, 정확성을 유지한다.
• 공동 사후분포 인수분해 덕분에 직관적이고 계산 효율적인 갱신이 가능하며, 정규분포 및 다항분포 우도 모두에 대해 공액 사후분포를 도출할 수 있다.
• 이 방법은 본질적으로 병렬 처리가 가능하며, 서로 다른 그룹과 클러스터에 대한 갱신이 독립적으로 계산될 수 있다.
• 이 접근법은 HDP 혼합 모델을 초월하여, 혼합 우도를 교체함으로써 다른 모델에서도 효율적인 샘플링을 가능하게 한다.