[논문 리뷰] Vectorized Bayesian Inference for Latent Dirichlet-Tree Allocation

Zheng Wang, Nizar Bouguila|arXiv (Cornell University)|2026. 02. 21.

Bayesian Methods and Mixture Models인용 수 0

한 줄 요약

본 논문은 LDA를 일반화하여 Dirichlet 선행분포를 Dirichlet-Tree 선행분포로 대체하고(LDTA) 완전히 벡터화된 평균장 변분 추론과 기대전파를 개발하며 확장 가능한 추론을 위해 GPU를 가속한다.

ABSTRACT

Latent Dirichlet Allocation (LDA) is a foundational model for discovering latent thematic structure in discrete data, but its Dirichlet prior cannot represent the rich correlations and hierarchical relationships often present among topics. We introduce the framework of Latent Dirichlet-Tree Allocation (LDTA), a generalization of LDA that replaces the Dirichlet prior with an arbitrary Dirichlet-Tree (DT) distribution. LDTA preserves LDA's generative structure but enables expressive, tree-structured priors over topic proportions. To perform inference, we develop universal mean-field variational inference and Expectation Propagation, providing tractable updates for all DT. We reveal the vectorized nature of the two inference methods through theoretical development, and perform fully vectorized, GPU-accelerated implementations. The resulting framework substantially expands the modeling capacity of LDA while maintaining scalability and computational efficiency.

연구 동기 및 목표

• Dirich크 모델링의 풍부한 주제 간 상관관계와 계층구조를 Dirichlet 제약을 넘어 모형화하려는 동기 제시.
• Dirichlet priors를 Dirichlet-Tree priors로 대체하여 구조화된 주제 관계를 포착하는 LDA의 일반화.
• 대규모 말뭉치를 위해 확장 가능한 벡터화 추론 알고리즘 개발.
• Dirichlet-Tree 분포와 다항 가능도에 대한 사전-사후 분포의 공액성에 대한 이론적 기초 제시.
• 텍스트, 이미지, 생물정보학 데이터 전반에 걸친 실용적 응용성 시연.

제안 방법

• Dirichlet-Tree 분포의 형태, 지수형 표현, 그리고 다항 가능도와의 공액성 formalization.
• Dirichlet-Tree를 Dirichlet-Tree 주도적인 LDA의 일반화로 보는 Latent Dirichlet-Tree Allocation(LDTA) 도입.
• LDTA를 위한 벡터화된 보편적 평균장 변분 추정(MFVI) 알고리즘 도출.
• LDTA를 위한 벡터화된 기대전파(EP) 알고리즘 도출.
• Dirichlet-Tree 프레임워크 내에서 사후 업데이트를 단순화하고 일관시키는 Bayesian 연산자 도입.
• 확장 가능한 추론을 가능하게 하는 벡터화된 GPU 가속 구현 제시.

실험 결과

연구 질문

• RQ1 LDTA가 Dirichlet-Tree priors를 통해 계층적이고 상호 연관된 주제 구조를 정확하게 모델링할 수 있는가?
• RQ2 LDTA를 위해 MFVI와 EP를 어떻게 벡터화하고 확장성을 유지할 수 있는가?
• RQ3 전통적인 Dirichlet priors 대비 Dirichlet-Tree priors를 주제 모델에서 사용했을 때의 계산적·통계적 이점은 무엇인가?
• RQ4 Dirichlet-Tree priors가 LDTA의 공액성, 업데이트, 사후 근사에 어떤 영향을 미치는가?
• RQ5 LDTA 방법들이 텍스트, 이미지, 생물정보학과 같은 다양한 데이터 도메인에서 전통적인 LDA와 비교해 성능이 우수한가?

주요 결과

• LDTA는 주제 비율에 대한 표현력 있는 트리 구조의 선행분포를 가능하게 하여 LDA를 확장한다.
• Dirichlet-Tree priors에 대해 계산 가능한 업데이트를 갖는 완전한 벡터화 MFVI 및 EP 알고리즘을 도출한다.
• Dirichlet-Tree 분포가 다항 가능도와의 공액성을 가지는 것으로 보이며, 확장 가능한 베이지안 업데이트를 지원한다.
• LDTA 내에서 사후 업데이트를 간소화하고 일관되게 하는 Bayesian 연산자 도입.
• GPU-가속 벡터화 구현은 대규모 데이터셋에서 확장성을 크게 향상시킨다.
• 실험은 문서 모델링, 이미지 분류, RNA 시퀀싱을 포괄하며 광범위한 적용 가능성을 보여준다.