[論文レビュー] Learning High-Dimensional Mixtures of Graphical Models

Animashree Anandkumar, Daniel Hsu+2 more|arXiv (Cornell University)|Mar 4, 2012

Bayesian Modeling and Causal Inference参考文献 35被引用数 6

ひとこと要約

本稿では、木混合モデルに近似することで、高次元混合グラフィカルモデルを学習する新規で効率的な手法を提案する。スペクトル分解と条件付き独立性検定を用い、スパースな分離子条件の下で、結合グラフ構造と成分パラメータを回復する。木混合モデルや有界次数グラフなどのモデルにおいて、多項式時間のサンプルおよび計算複雑性を達成する。

ABSTRACT

We consider unsupervised estimation of mixtures of discrete graphical models, where the class variable corresponding to the mixture components is hidden and each mixture component over the observed variables can have a potentially different Markov graph structure and parameters. We propose a novel approach for estimating the mixture components, and our output is a tree-mixture model which serves as a good approximation to the underlying graphical model mixture. Our method is efficient when the union graph, which is the union of the Markov graphs of the mixture components, has sparse vertex separators between any pair of observed variables. This includes tree mixtures and mixtures of bounded degree graphs. For such models, we prove that our method correctly recovers the union graph structure and the tree structures corresponding to maximum-likelihood tree approximations of the mixture components. The sample and computational complexities of our method scale as $\poly(p, r)$, for an $r$-component mixture of $p$-variate graphical models. We further extend our results to the case when the union graph has sparse local separators between any pair of observed variables, such as mixtures of locally tree-like graphs, and the mixture components are in the regime of correlation decay.

研究の動機と目的

• 成分構造とパラメータが未知であり、クラス変数が隠されている高次元離散グラフィカルモデル混合の学習という課題に取り組む。
• EMベースの手法の限界を克服する。特に、次元が高くなるとスケーリングが悪く、理論的保証が欠如する。
• 結合グラフにスパースな頂点分離子がある場合に、成分を正確に推定できる理論的保証付きの効率的アルゴリズムを開発する。これにより、木近似による効率的な推論が可能になる。
• 製品分布の混合にとどまらず、木混合モデルや有界次数グラフィカルモデルといったより豊かなモデルへ理論的保証を拡張する。
• グラフィカルモデル選択とスペクトル分解を統合したフレームワークを提供し、サンプルおよび計算の両面で効率性を実現する。

提案手法

• ランクに基づく基準を用いて結合グラフ構造を推定し、条件付き独立性検定を一般化して、結合マークフ・グラフ内の隣接ノードを同定する。
• 観測された2次元周辺分布を成分モデルに分解するため、製品分布混合の手法を応用してスペクトル分解を適用する。
• 3段階パイプラインを採用する：(1) 結合グラフ推定、(2) スペクトル手法によるパラメータ推定、(3) 各混合成分の木近似。
• 行列摂動理論（補題15–17を用いて）を活用し、モデル不適合下での固有値および固有ベクトル推定誤差を上限付ける。
• スペクトル分解プロセスにおいて、条件数と固有値ギャップを制御することで、ロバスト性を確保する。
• 最大尤度構造を保持しつつ、効率的な信念伝播推論を可能にする木混合近似を構築する。

実験結果

リサーチクエスチョン

• RQ1 混合成分が異なるグラフ構造とパラメータを持つ高次元グラフィカルモデル混合を、効率的に学習できるか？
• RQ2 結合グラフの構造的条件（例：スパースな分離子）が何である場合に、提案手法が理論的保証付きのサンプルおよび計算効率を達成するか？
• RQ3 潜在クラス変数が観測不能な状況で、混合モデルのパラメータと成分構造を正確に推定するにはどうすればよいか？
• RQ4 データ適合性と推論の扱いやすさという観点から、一般のグラフィカルモデル混合に対して、木混合モデルがどの程度良い近似として機能するか？
• RQ5 高次元設定下において、スペクトルに基づく推定に対してどのような理論的保証を確立できるか？

主な発見

• 本手法は多項式時間のサンプルおよび計算複雑性を達成し、$p$変数の$r$成分混合モデルに対して、$\operatorname{poly}(p,r)$ のスケーリングで動作する。
• 結合グラフにスパースな頂点分離子がある場合、結合グラフ構造が正しく回復される。これは、木混合モデルや有界次数グラフに対して成立する。
• 同じ構造的仮定の下で、最大尤度木近似が成分ごとに回復される。
• 理論的保証が、局所的にスパースな分離子や相関減衰を示すモデル（例：局所的に木に似たグラフ）へ拡張される。
• スペクトル分解手法がグラフィカルモデル混合へ成功裏に適応され、行列摂動理論を用いて誤差バウンドが導出された。
• やや厳しい条件のもとで、構造とパラメータの両方を理論的保証付きで回復可能であり、スケーラビリティと理論的信頼性の面でEMを上回る。