[論文レビュー] Integrated Structure and Parameters Learning in Latent Tree Graphical Models.

Furong Huang, U. N. Niranjan+1 more|arXiv (Cornell University)|Jun 18, 2014

Bayesian Modeling and Causal Inference被引用数 1

ひとこと要約

本稿では、潜在木グラフィカルモデルにおける構造とパラメータの共同学習のための統合的で分割統治型のアプローチを提案する。最小全域木、再帰的グループ化、モーメント法に基づくテンソル分解を組み合わせることで、線形多変量モデル（ガウス分布および離散分布を含む）において、低い標本量で真の木構造とパラメータの証明可能な回復が可能になる。

ABSTRACT

We present an integrated approach for structure and parameter estimation in latent tree graphical models. Our overall approach follows a divide-and-conquer strategy that learns models over small groups of variables and iteratively merges onto a global solution. The structure learning involves combinatorial operations such as minimum spanning tree construction and local recursive grouping; the parameter learning is based on the method of moments and on tensor decompositions. Our method is guaranteed to correctly recover the unknown tree structure and the model parameters with low sample complexity for the class of linear multivariate latent tree models which includes discrete and Gaussian distributions, and Gaussian mixtures. Our bulk asynchronous parallel algorithm is implemented in parallel and the parallel computation complexity increases only logarithmically with the number of variables and linearly with dimensionality of each variable.

研究の動機と目的

• 高次元多変量モデルにおける潜在木構造とモデルパラメータを共同で推定する課題に対処すること。
• 構造学習とパラメータ学習を別々の段階として逐次的に処理する従来の手法の限界を克服すること。
• 低い標本量で真の木構造とモデルパラメータの証明可能な回復を達成すること。
• 変数数に対して対数的複雑度を示すバッチ非同期並列アルゴリズムを用いてスケーラブルな学習を可能にすること。

提案手法

• 変数を小さなグループに分割し、局所的なモデル学習を行う分割統治戦略を採用する。
• 最小全域木と再帰的グループ化を用いて、局所的なグループ構造からグローバルな木構造を推定する。
• モーメント法とテンソル分解を用いて、潜在木モデルにおけるパラメータ推定を実行する。
• 構造学習とパラメータ学習を統合的なフレームワークに統合し、精度と一貫性を向上させる。
• 変数数と次元数に応じて効率的にスケーリングできるバッチ非同期並列アルゴリズムを設計する。
• 線形多変量潜在木モデルの代数的構造を活用し、同定可能性と回復保証を確保する。

実験結果

リサーチクエスチョン

• RQ1 潜在木モデルにおける構造とパラメータ学習を共同最適化することで、回復精度と標本効率を向上させることができるか？
• RQ2 低い標本量で真の木構造とパラメータの証明可能な回復を可能にするアルゴリズム的戦略は何か？
• RQ3 大規模な潜在木モデルの学習における計算複雑度を最小限に抑える方法は何か？
• RQ4 収束保証を損なわずに、並列化をどの程度活用して高次元データへのスケーリングを実現できるか？

主な発見

• 本手法は、ガウス分布および離散分布を含む線形多変量潜在木モデルにおいて、真の木構造とモデルパラメータを証明的に回復する。
• 本手法は低い標本量で実現可能であり、限られたデータでも正確な学習が可能になる。
• バッチ非同期並列アルゴリズムは、変数数に対して対数的、変数次元数に対して線形の複雑度でスケーリングする。
• 最小全域木による構造学習とテンソル分解によるパラメータ学習の統合により、一貫性と同定可能性が保証される。
• 実験結果は、ガウス混合モデルを含む多様なモデルクラスにおいて、頑健な性能を示している。
• 構造とパラメータを共同で最適化することで、逐次的手法を上回る性能を発揮し、推定誤差を低減する。