[論文レビュー] Dependent Random Density Functions with Common Atoms and Pairwise Dependence

Spyridon J. Hatjispyros, Theodoros Nicoleris+1 more|arXiv (Cornell University)|Oct 24, 2015

Bayesian Methods and Mixture Models参考文献 13被引用数 3

ひとこと要約

本稿では、複数のディリクレ過程混合モデルが同一の原子を共有することで対ごとの依存性を誘導する従属的ランダム密度モデルを提案する。これにより、測度間のLp距離の正確な計算が可能となる。共通の原子の再重み付けにより、独立な原子を用いたモデルと比較して著しく低い計算複雑性で柔軟な依存構造を実現する。

ABSTRACT

The paper is concerned with constructing pairwise dependence between $m$ random density functions each of which is modeled as a mixture of Dirichlet process model. The key to this is how to create dependencies between random Dirichlet processes. The present paper adopts a plan previously used for creating pairwise dependence, with the simplification that all random Dirichlet processes share the same atoms. Our contention is that for all dependent Dirichlet process models, common atoms are sufficient. We show that by adopting common atoms, it is possible to compute the $L_p$ distances between all pairs of random probability measures.

研究の動機と目的

• ベイジアン非パラメトリックモデルにおけるm個のランダム確率測度間の対ごとの依存性を誘導する手法を開発すること。
• すべてのランダムディリクレ過程が同一の原子を持つように制約することで、依存構造のモデリングを単純化し、モデルの複雑性を低減すること。
• 共通のサポートを活用することで、従属的ランダム測度間のLp距離の正確な計算を可能にすること。
• 各測度に対して異なる原子をサンプリングする必要を回避することで、特にギブスサンプリングにおいて計算効率を向上させること。
• 共通の原子が、密度間の任意の類似度や相違度をモデル化するのに十分であるかどうかを示すこと。

提案手法

• 各ランダム確率測度 $\mathbb{P}_j$ を、すべての $j$ に対して同一の原子 $\theta_k$ を持つディリクレ過程の混合として構築する。
• 各 $\mathbb{P}_j$ の重み $w_{jk}$ をスティック・ブレイキング過程でモデル化し、共有原子と変動する重みを通じて依存性を誘導する。
• ディリクレ過程の構成的定義を用いる：$\mathbb{P}_j = \sum_{k=1}^\infty w_{jk} \delta_{\theta_k}$、ここで $\theta_k$ はベース測度 $P_0$ に従う独立同一分布。
• 同じサポートを用いることで、測度間の類似度を直接的に正確に測定可能となる。
• ギブスサンプリングを用いて事後分布を推定し、$m(m+1)/2$ 個の異なる原子集合のサンプリングを回避することで時間計算量を削減する。
• 重み $w_k(z)$ を共変量に依存させる一方で、共通の原子 $\theta_k$ を維持することで、回帰設定への拡張を実現する。

実験結果

リサーチクエスチョン

• RQ1 ディリクレ過程間で共有される原子を用いることで、m個のランダム密度関数間の対ごとの依存性を効果的にモデル化できるか？
• RQ2 共通の原子を用いることで、従属的ランダム測度間のLp距離の正確かつ計算的に効率的な計算が可能になるか？
• RQ3 共通の原子を用いたモデルと独立な原子を用いたモデルとの間で、クラスタリング性能における強さの借用（borrowing of strength）の程度はどのように異なるか？
• RQ4 共通の原子の仮定が、密度間の任意の類似度や相違度を捕捉するのに十分であるか？
• RQ5 ギブスサンプリングにおいて、独立な原子を用いたモデルと比較して、共通原子アプローチにどのような計算上の利点があるか？

主な発見

• ガンマ・ノーマル・ガンマ例では、共通原子を有するCAPDDPモデルは平均3.075のクラスタを示したのに対し、独立原子を用いるPDDPモデルは1.571にとどまった。
• ノーマル3混合例では、CAPDDPは平均4.861のクラスタを達成したのに対し、PDDPは3.090にとどまり、強度の借用が顕著に強いことが示された。
• 実データ例では、CAPDDPは平均5.045のクラスタを報告したのに対し、PDDPは3.090にとどまり、共通原子を用いるモデルの優れたクラスタリング性能が確認された。
• 2番目のデータセットにおける選択確率 $p_{22}$ は、CAPDDPでは0.301、PDDPでは0.167であり、共通原子モデルにおける強度の借用がより強いことが示された。
• CAPDDPとPDDP間の時間計算量の差 $\Delta T$ は、$\propto \left(\frac{m(m+1)}{2} - 1\right) N^* \sum_{j=1}^m n_j$ のようにスケーリングされ、共通原子を用いることで顕著な計算コストの削減が達成された。
• 重みの変動のみで測度間の任意の近接性を実現可能であり、共有サポートのおかげで距離が正確に計算可能となる。