[論文レビュー] Theory of Dependent Hierarchical Normalized Random Measures

Changyou Chen, Wray Buntine+1 more|arXiv (Cornell University)|May 18, 2012

Bayesian Methods and Mixture Models参考文献 19被引用数 5

ひとこと要約

本稿は、ポアソン過程と完全にランダム測度（CRM）への作用を用いて、依存性を持つ正規化ランダム測度（NRM）を構築することで、従属的階層的正規化ランダム測度（DHN-RM）の理論的枠組みを構築する。時間的および階層的依存性をモデル化するため、サブサンプリング、ポイント遷移、重ね合わせの作用を導入し、CRMレベルとNRMレベルの作用の等価性を証明するとともに、正規化一般化ガンマ（NGG）過程に対する事後分布推論規則を提供し、スケーラブルな時系列依存トピックモデリングを可能にする。

ABSTRACT

This paper presents theory for Normalized Random Measures (NRMs), Normalized Generalized Gammas (NGGs), a particular kind of NRM, and Dependent Hierarchical NRMs which allow networks of dependent NRMs to be analysed. These have been used, for instance, for time-dependent topic modelling. In this paper, we first introduce some mathematical background of completely random measures (CRMs) and their construction from Poisson processes, and then introduce NRMs and NGGs. Slice sampling is also introduced for posterior inference. The dependency operators in Poisson processes and for the corresponding CRMs and NRMs is then introduced and Posterior inference for the NGG presented. Finally, we give dependency and composition results when applying these operators to NRMs so they can be used in a network with hierarchical and dependent relations.

研究の動機と目的

• 階層的および時系列的構造における従属的正規化ランダム測度（NRM）を形式的に定式化する枠組みを構築すること。
• 機械学習における相関データの課題に対処し、非パラメトリックベイズモデルにおける柔軟な依存性モデリングを可能にすること。
• 正規化ランダム測度（NRM）の理論および正規化一般化ガンマ（NGG）過程を、下位のポアソン過程上の作用を通じて依存性をサポートする形に拡張すること。
• CRMおよびNRMにおける依存性作用子（サブサンプリング、ポイント遷移、重ね合わせ）の合成を統一的に扱う操作的記法を提供すること。
• NGG過程におけるサブサンプリングの事後分布推論規則を導出し、動的状況下での効率的なベイズ推論を可能にすること。

提案手法

• 特定のレヴィ測度を有するポアソン過程からの完全にランダム測度（CRM）の構築により、確率的ジャンプおよびアトムの生成を可能にする。
• CRMの正規化により正規化ランダム測度（NRM）を定義し、正規化一般化ガンマ（NGG）過程を代表的な例として挙げる。
• ポアソン過程およびその誘導するCRMおよびNRMに対して、サブサンプリング、ポイント遷移、重ね合わせの3つの依存性作用を導入する。
• サブサンプリング、ポイント遷移、重ね合わせの作用の合成に対する正規形を導出し、複雑な作用列の簡略化および等価性の確認を可能にする。
• NRMsにおける事後分布推論にスライスサンプリングを適用し、[GW11]および[JLP09]の技術をNGG事後分布に応用する。
• CRMレベルの作用が対応するNRMレベルの作用と等価であることを示す等価定理を証明し、スケールに跨る一貫性を保証する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、ポアソン過程およびその関連CRMから従属的正規化ランダム測度を体系的に構築できるか？
• RQ2 CRMおよびNRMにおける依存性作用子（サブサンプリング、ポイント遷移、重ね合わせ）の合成に関する代数的性質および構成則は何か？
• RQ3 観測データ下でNGG過程におけるサブサンプリングインジケータの事後分布が閉形式で導出可能か？
• RQ4 CRMにおける依存性作用が、対応するNRMにおいてどのように等価に翻訳されるか、そしてその等価性を保証する条件は何か？
• RQ5 これらの作用を階層的および時系列依存モデル（例えば動的トピックモデル）に用いるための理論的基盤は何か？

主な発見

• 本稿は、CRMとその対応する正規化ランダム測度（NRM）間の正式な等価性を確立し、CRMレベルでの依存性モデリングがNRMレベルでも一貫した依存性を誘導することを保証する。
• サブサンプリング、ポイント遷移、重ね合わせの作用の合成に対する正規形が導出され、複雑な依存構造の簡略化および正規化が可能になる。
• NGG過程におけるサブサンプリングの事後分布推論が導出され、対応するデータカウントが正の場合はジャンプの包含確率が1に、さもなければ相対的質量および受容率に依存することが示される。
• サブサンプリング下でのジャンプの事後受容率が、全質量および現在のジャンプを除く質量の関数であることが示され、一般および階層的ケースの両方について明示的な式が提示される。
• 導出された事後規則を用いた効率的なスライスサンプリングと事後更新により、時系列依存モデルにおけるスケーラブルな推論が可能になる。
• 理論的結果は、動的トピックモデリングへの応用を通じて検証され、本フレームワークは、時間経過に伴うトピック分布の柔軟で非パラメトリックなモデリングを可能にする。