[論文レビュー] Guaranteed Scalable Learning of Latent Tree Models

Furong Huang, U. N. Niranjan+4 more|CaltechAUTHORS (California Institute of Technology)|Jun 18, 2014

Bayesian Modeling and Causal Inference参考文献 16被引用数 4

ひとこと要約

本稿では、分割統治フレームワークを用いて構造とパラメータ推定を統合することで、潜在木モデルの保証付きかつスケーラブルな学習手法を提示する。テンソル分解とモーメント法を用い、log(p)の計算複雑度とO(log p)の並列時間で一貫性のあるパラメータ回復を実現し、離散的・ガウス的・ガウス混合モデルの両方において構造とパラメータ推定のサンプル複雑度がlog(k)であることを達成する。

ABSTRACT

We present an integrated approach for structure and parameter estimation in latent tree graphical models. Our overall approach follows a "divide-and-conquer" strategy that learns models over small groups of variables and iteratively merges onto a global solution. The structure learning involves combinatorial operations such as minimum spanning tree construction and local recursive grouping; the parameter learning is based on the method of moments and on tensor decompositions. Our method is guaranteed to correctly recover the unknown tree structure and the model parameters with low sample complexity for the class of linear multivariate latent tree models which includes discrete and Gaussian distributions, and Gaussian mixtures. Our bulk asynchronous parallel algorithm is implemented in parallel and the parallel computation complexity increases only logarithmically with the number of variables and linearly with dimensionality of each variable.

研究の動機と目的

• 潜在木モデルにおける一貫性・スケーラビリティ・並列処理が可能な構造とパラメータ推定の欠如に対処すること。
• 従来の手法における構造学習とパラメータ推定の間の逐次的依存関係を克服すること。
• 低サンプル複雑度で構造とパラメータ回復のグローバルな一貫性を達成すること。
• 変数の数に対して対数時間複雑度で効率的かつバッチ非同期並列計算を可能にすること。
• 保証付きのアラインメントと潜在パラメータの回復を伴う、階層的モデルへのテンソル分解法の拡張すること。

提案手法

• 本手法は分割統治戦略を採用し、変数を再帰的に局所的サブツリーにグループ化して並列処理を実施する。
• 構造学習は、ペアワイズ多次元相互情報距離に基づく最小Spanning Tree (MST) の構築によって実施される。
• 局所的再帰的グループ化 (LRG) はサブツリーを特定し、スケーラブルかつ分散型の構造推定を可能にする。
• パラメータ推定にはモーメント法と高次元テンソル分解を用い、潜在パラメータの一貫性のある回復を実現する。
• 独自のテンソルスペクトルアラインメント手順により、特異値分解 (SVD) と行列アラインメント技術から導かれる置換行列を用いてサブツリー間のパラメータをアラインメントする。
• スパース行列演算とランダム化SVDを活用することで、特に高次元かつスパースなデータに対して計算コストを低減する。

実験結果

リサーチクエスチョン

• RQ1 潜在木構造とパラメータは、多項式より小さい計算複雑度で一貫して回復可能か？
• RQ2 保証付きのアラインメントと回復を伴う、階層的潜在木モデルへのテンソル分解法の拡張は可能か？
• RQ3 構造学習とパラメータ推定の間の逐次的依存関係なしに、潜在木モデルの並列的かつスケーラブルな学習が可能か？
• RQ4 線形多次元潜在木モデルにおいて、構造とパラメータの両方を一貫して回復するための最小サンプル複雑度は何か？
• RQ5 スパースかつ高次元なデータを、理論的保証とともに効率的に処理する方法は何か？

主な発見

• 本手法は、計算複雑度O(log p)を達成し、最新のO(poly(p))複雑度と比較して顕著に向上した、構造とパラメータ推定におけるグローバルな一貫性を実現する。
• 構造回復のためのサンプル複雑度はO(log k)、テンソル分解によるパラメータ回復のためのサンプル複雑度もO(log k)であり、両者とも高い確率で成立する。
• モーメント法とテンソル分解を用いた一貫性のあるパラメータ推定を保証するが、これは潜在木モデルにおいて初めての保証である。
• 並列計算の複雑度は変数数に対して対数的に増加し、次元数に対して線形に増加するため、大規模な学習が効率的に行える。
• スパース行列埋め込みとランダム化SVDの活用により、特に高次元かつスパースなデータに対して時間的・記憶的コストが低減される。
• ユーザー主導の構造精緻化（近隣選択とBICスコア）が可能であり、EMの再実行なしに動的パラメータ再推定が可能である。