[論文レビュー] Spectral Methods for Learning Multivariate Latent Tree Structure

Animashree Anandkumar, Kamalika Chaudhuri+4 more|arXiv (Cornell University)|Jul 7, 2011

Bayesian Modeling and Causal Inference参考文献 33被引用数 28

ひとこと要約

本稿では、連続変数、離散変数、または混合変数を含む多変量潜在木モデルの構造を学習するためのスペクトル再帰的グループ化アルゴリズムを提案する。2次統計量におけるスペクトル四重検定を活用することで、観測変数の次元に依存しない有限標本保証を備えた正確な木構造回復が可能となり、潜在分布の性質に応じて良好にスケーリングする標本複雑性を達成する。

ABSTRACT

This work considers the problem of learning the structure of multivariate linear tree models, which include a variety of directed tree graphical models with continuous, discrete, and mixed latent variables such as linear-Gaussian models, hidden Markov models, Gaussian mixture models, and Markov evolutionary trees. The setting is one where we only have samples from certain observed variables in the tree, and our goal is to estimate the tree structure (i.e., the graph of how the underlying hidden variables are connected to each other and to the observed variables). We propose the Spectral Recursive Grouping algorithm, an efficient and simple bottom-up procedure for recovering the tree structure from independent samples of the observed variables. Our finite sample size bounds for exact recovery of the tree structure reveal certain natural dependencies on underlying statistical and structural properties of the underlying joint distribution. Furthermore, our sample complexity guarantees have no explicit dependence on the dimensionality of the observed variables, making the algorithm applicable to many high-dimensional settings. At the heart of our algorithm is a spectral quartet test for determining the relative topology of a quartet of variables from second-order statistics.

研究の動機と目的

• 混合型の潜在変数および観測変数を有する多変量潜在木モデルの構造を学習する課題に対処すること。
• 従来の手法が失敗する高次元設定における推定誤差に対して頑健な手法を開発すること。
• 観測変数の次元に明示的な依存関係がない有限標本保証を提供することにより、正確な木構造回復を実現すること。
• 既存の四重検定ベース手法を、離散的またはスカラー正規分布にとどまらない多変量・スカラーでない潜在木モデルに拡張すること。
• HMM、ガウス混合モデル、系統発生木を含む多様なグラフィカルモデルにおける構造学習のためのスペクトル手法を統一的かつ一般化すること。

提案手法

• スペクトル再帰的グループ化アルゴリズムを提案する。これは、スペクトル四重検定に基づく下位互いに再帰的に変数をグループ化するプロセスである。
• 2次統計量を用いたスペクトル四重検定を採用し、木構造内の任意の4変数の相対的トポロジーを推定する。
• リーフ成分分析を用いて親子関係を特定する関係サブルーチンに従い、再帰的マージ戦略を実装する。
• グループ化プロセス全体を通じて部分木の互いに素でリーフ集合の分割を維持するため、ループ不変式に依存する。
• 共分散または相関行列のスペクトル分解を適用し、四重構成を介して条件付き独立性のパターンを検出する。
• 木構造の制約に基づくマージ可能性テストを導入し、再構築プロセスにおける有効な親子関係を決定する。

実験結果

リサーチクエスチョン

• RQ1 スペクトル手法を、連続および離散変数を含む多変量潜在木モデルの構造学習に拡張可能か？
• RQ2 スペクトル手法を用いた有限標本下での正確な木構造回復の標本複雑性は何か？
• RQ3 高次元設定における推定誤差に対して四重検定をどのようにして頑健化できるか？
• RQ4 標本複雑性を観測変数の次元に依存させない形にできるか？
• RQ5 スペクトルアルゴリズムの潜在木学習における性能を規定する構造的および統計的性質は何か？

主な発見

• スペクトル再帰的グループ化アルゴリズムは、有限標本サイズ下でも高い確率で正確な木構造回復を達成する。
• 標本複雑性は、固有値ギャップや相関の減衰といった、連合分布の統計的・構造的性質に依存する。
• この手法の標本複雑性は、観測変数の次元に明示的な依存関係を持たないため、高次元データへの適用が可能である。
• スペクトル四重検定により、2次統計量からの相対的四重トポロジー検出が可能となり、頑健な構造回復が実現される。
• 有限標本バウンドにより、条件が有利な場合、標本数がリーフ数の対数に比例して増加する場合にアルゴリズムが成功することが示された。
• ループ不変式およびリーフ成分とマージ可能性に関する補題を用いて理論的保証を確立し、再帰的グループ化の正しさを保証した。