[論文レビュー] Bayesian learning of joint distributions of objects

Anjishnu Banerjee, Jared S. Murray+1 more|arXiv (Cornell University)|Mar 3, 2013

Bayesian Methods and Mixture Models参考文献 15被引用数 9

ひとこと要約

本稿では、無限テンソル因子分解（ITF）を用いた混合型データの同時分布のためのベイジアン非パラメトリックモデルを提案する。この手法は、スティック・ブレーキング過程のテンソル積を用いてクラスタ割り当てをモデル化することで、複数のデータタイプにわたる依存クラスタリングを可能にする。従来のディリクレ過程混合モデルに比べ、対象タイプに特化した柔軟なクラスタリングを実現しながらも、グローバルな依存関係を維持し、ネットワークおよびバイオメディカルデータにおけるシミュレーションおよび実世界の応用で優れた性能を発揮する。

ABSTRACT

There is increasing interest in broad application areas in defining flexible joint models for data having a variety of measurement scales, while also allowing data of complex types, such as functions, images and documents. We consider a general framework for nonparametric Bayes joint modeling through mixture models that incorporate dependence across data types through a joint mixing measure. The mixing measure is assigned a novel infinite tensor factorization (ITF) prior that allows flexible dependence in cluster allocation across data types. The ITF prior is formulated as a tensor product of stick-breaking processes. Focusing on a convenient special case corresponding to a Parafac factorization, we provide basic theory justifying the flexibility of the proposed prior and resulting asymptotic properties. Focusing on ITF mixtures of product kernels, we develop a new Gibbs sampling algorithm for routine implementation relying on slice sampling. The methods are compared with alternative joint mixture models based on Dirichlet processes and related approaches through simulations and real data applications.

研究の動機と目的

• 従来のディリクレ過程混合モデルが単一のグローバルクラスタインデックスに依存するという限界を解消すること。
• 連続的、カテゴリカル、関数的、画像データなど多様なデータタイプにわたる柔軟かつ依存的なクラスタリングを可能にする非パラメトリックベイジアン同時モデリングの枠組みを構築すること。
• クラスタ割り当てを各データタイプごとに分離することで過剰クラスタリングおよびデータの不均衡問題を克服し、同時に共有される確率的テンソルを通じてタイプ間の依存関係を維持すること。
• 有限の切り捨てなしに無限次元のテンソルモデルにおける事後分布の効率的計算を実現する、新しいブロッキングスライスサンプリングアルゴリズムの開発。
• 社会的ネットワークのイデオロギー予測や変形性関節症の症状モデリングを含む、複雑なデータを含む実世界の応用において、本手法の優位性を示すこと。

提案手法

• 複数のデータタイプにわたる依存クラスタ割り当てをモデル化するため、スティック・ブレーキング過程のテンソル積を用いて同時混合測度を定式化する。
• 無限テンソル因子分解（ITF）事前分布を、ディリクレ過程の一般化として定義し、データタイプごとの柔軟で非交換可能なクラスタリングを可能にする。
• パラファック型の因子分解を用いてテンソル構造を単純化し、理論的裏付けおよび計算上の扱いやすさを実現する。
• 各データタイプをクラスタ固有のパラメータを持つカーネル（例：正規分布、多項分布、ウェーブレットベース）による積の混合モデルとしてモデル化するITF混合モデルを構築する。
• 無限成分の切り捨てを回避するため、ブロッキングスライスサンプリングに基づく新しいギブスサンプリングアルゴリズムを開発し、事後分布からの効率的サンプリングを実現する。
• 条件付き共役性と補助変数を活用することで、高次元かつ混合ドメインの設定においても容易に実装可能な枠組みを構築する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン非パラメトリックモデルは、連続的、カテゴリカル、関数的、画像データといった多様なデータタイプを同時にモデリングしつつ、タイプ間の複雑な依存関係を捉えることができるか？
• RQ2 グローバルクラスタリングを強制せずに、データタイプ間のクラスタ割り当てを依存関係を持たせることで、過剰クラスタリングやデータの不均衡問題を回避できるか？
• RQ3 提案されたITF事前分布が、同時分布モデリングにおいて柔軟性と漸近的性質をどのように裏付ける理論的根拠を持つのか？
• RQ4 標準的なディリクレ過程混合モデルに比べ、本手法は混合ドメインのデータにおいて、予測精度およびクラスタ回復精度で優れていると示せるか？
• RQ5 有限の切り捨てなしに、無限次元のテンソルモデルにおける事後分布の効率的計算をどのように達成できるか？

主な発見

• シミュレーション研究において、ITFは予測誤差が低く抑えられ（シナリオ1ではDPMの1.43対ITFの1.79）、特に真のモデルに複雑な依存関係が含まれる場合に真の依存構造の回復が優れていた。
• シナリオ2では、ITFは真の依存関係の検出においてDPMを著しく上回り（C2では27%対55%、C3では34%対57%）、複雑な関係への感受性が優れていることが示された。
• 変形性関節症イニシャチブ（OAI）データでは、4つのホールドアウト変数においてITFは予測精度が優れており、DPMに比べて相対的な精度向上が31.21%（P01BL12SXL）および7.94%（V00LEXWHY1）を記録した。
• ITFは、身体活動、医学的履歴、膝関節症の症状との間で臨床的に意味のある関係を効果的に特定し、臨床意思決定支援への応用可能性を示した。
• ネットワークデータにおいても、弱い接続性を持つ保守的ブログを赤クラスタに正しく割り当て、曖昧なノード（例：6, 14, 22）についても確率的クラスタリングにより曖昧さを解消した。
• クラスタ割り当ての事後確率は、グラフのトポロジーとラベル情報の両方を反映しており、ラベルとトポロジーが矛盾する場合、ラベル付き点では信頼度が低下する傾向を示し、複数のデータソースの有効な統合が達成された。