[論文レビュー] Vectorized Bayesian Inference for Latent Dirichlet-Tree Allocation

Zheng Wang, Nizar Bouguila|arXiv (Cornell University)|Feb 21, 2026

Bayesian Methods and Mixture Models被引用数 0

ひとこと要約

論文は、Dirichlet priorをDirichlet-Tree priorに置換することでLDAを一般化し、完全ベクトル化された平均場変分推論と期待伝播を開発、スケーラブル推論のためにGPU加速を実現している。

ABSTRACT

Latent Dirichlet Allocation (LDA) is a foundational model for discovering latent thematic structure in discrete data, but its Dirichlet prior cannot represent the rich correlations and hierarchical relationships often present among topics. We introduce the framework of Latent Dirichlet-Tree Allocation (LDTA), a generalization of LDA that replaces the Dirichlet prior with an arbitrary Dirichlet-Tree (DT) distribution. LDTA preserves LDA's generative structure but enables expressive, tree-structured priors over topic proportions. To perform inference, we develop universal mean-field variational inference and Expectation Propagation, providing tractable updates for all DT. We reveal the vectorized nature of the two inference methods through theoretical development, and perform fully vectorized, GPU-accelerated implementations. The resulting framework substantially expands the modeling capacity of LDA while maintaining scalability and computational efficiency.

研究の動機と目的

• Dirichlet制約を超える豊かなトピック間相関と階層性のモデリングを動機づける。
• Dirichlet priorsをDirichlet-Tree priorsに置換して、構造化されたトピック関係を捉える。
• 大規模コーパスに適したスケーラブルでベクトル化された推論アルゴリズムを開発する。
• Dirichlet-Tree分布と多項分布尤度への共役性の理論的基盤を提供する。
• テキスト、画像、生物情報学データの実用的適用性を示す。

提案手法

• Dirichlet-Tree分布、その指数形、および多項分布尤度への共役性を形式化する。
• Latent Dirichlet-Tree Allocation (LDTA) を Dirichlet-Tree主導の LDA の一般化として導入する。
• LDTA のためのベクトル化された普遍的平均場変分推論（MFVI）アルゴリズムを導出する。
• LDTA のためのベクトル化された期待伝播（EP）アルゴリズムを導出する。
• Dirichlet-Treeフレームワーク内の事後更新を簡素化・統一するためのベイズ演算子を導入する。
• スケーラブル推論を可能にするベクトル化・GPU加速実装を提示する。

実験結果

リサーチクエスチョン

• RQ1 LDTAはDirichlet-Tree priorsを通じて階層的・相関したトピック構造を正確にモデルできるか？
• RQ2 MFVIとEPをLDTA向けに開発・ベクトル化してスケーラビリティを維持できるか？
• RQ3 トピックモデルにおけるDirichlet-Tree priorsの方が標準的なDirichlet priorsよりも計算・統計的に有利な点は何か？
• RQ4 Dirichlet-Tree priorsはLDTAにおける共役性、更新、事後近似にどのような影響を与えるか？
• RQ5 LDTA法は従来のLDAと比較してテキスト・画像・生物情報学データの多様なドメインで良好な性能を示すか？

主な発見

• LDTAはトピック比率に対する表現力豊かな木構造 priors を可能にすることで LDA を拡張する。
• 著者らは Dirichlet-Tree priors に対して計算可能な更新を含む完全なベクトル化 MFVI および EP アルゴリズムを導出した。
• Dirichlet-Tree 分布は多項分布尤度に共役であることが示され、スケーラブルなベイズ更新をサポートする。
• LDTA 内の事後更新を簡素化・統一するためのベイズ演算子を導入した。
• GPU加速・ベクトル化実装は大規模データセットでのスケーラビリティを大幅に改善する。
• 実験は文書モデリング、画像分類、RNAシーケンシングを横断し、幅広い適用性を示す。