[論文レビュー] Nonparametric Latent Tree Graphical Models: Inference, Estimation, and Structure Learning

Le Song, Han Liu+2 more|arXiv (Cornell University)|Jan 16, 2014

Gaussian Processes and Bayesian Inference参考文献 53被引用数 5

ひとこと要約

本稿では、再生核ヒルバート空間（RKHS）埋め込みを用いた非パrametric枠組みを提案し、ガウス分布や離散分布の仮定を必要とせずに、構造学習、パrameter推定、推論を可能にする潜在木グラフィカルモデルを提示する。共分散作用素のスペクトル的性質とカーネルベースの距離測度を活用することで、高次元の連続的かつ非ガウス分布に適した理論的裏付けのある、局所的最小値を回避する学習と推論を実現する。

ABSTRACT

Tree structured graphical models are powerful at expressing long range or hierarchical dependency among many variables, and have been widely applied in different areas of computer science and statistics. However, existing methods for parameter estimation, inference, and structure learning mainly rely on the Gaussian or discrete assumptions, which are restrictive under many applications. In this paper, we propose new nonparametric methods based on reproducing kernel Hilbert space embeddings of distributions that can recover the latent tree structures, estimate the parameters, and perform inference for high dimensional continuous and non-Gaussian variables. The usefulness of the proposed methods are illustrated by thorough numerical results

研究の動機と目的

• ガウス分布や離散分布の仮定に依存しない、非パrametricな潜在木グラフィカルモデルの枠組みを構築すること。
• 非パrametricな設定においても、強い理論的保証を備えた潜在木の構造学習を可能にすること。
• 連続的かつ非ガウス分布の変数に対して、局所的最小値を回避するパrameter推定と効率的な確率的推論を提供すること。
• ネイバージョイングや再帰的グループ化といった距離ベースの手法を、完全に非パrametricな設定に一般化すること。
• 高次元潜在木モデルにおける推論、推定、構造学習を統合的に扱うアプローチを確立すること。

提案手法

• 再生核ヒルバート空間（RKHS）を用いた確率分布のヒルバート空間埋め込みを採用し、結合分布および条件付き分布を非パrametricに表現する。
• RKHS内でのクロス共分散作用素の特異値分解（SVD）を用いて、変数間のカーネルベースの距離測度を定義し、パラメトリックな距離測度を一般化する。
• 共分散作用素の主成分となる特異ベクトルを用いて、潜在変数のパラメータを推定し、EM法に起因する局所的最小値の問題を回避する。
• 正則化された逆作用素（CXX + λI）−1 を用いて条件付き平均埋め込みを近似し、推論における非一様な重み付けを可能にする。
• i.i.d. データから、有限標本におけるカーネル推定量 bCY|X = Φ(K + λI)−1Υ⊤ を用いて条件付き埋め込みを推定し、収束速度は Op(n−1/4) である。
• 結合埋め込みを高次元テンソル（例：CO）として扱い、テンソルのリシェーピングとヒルバート＝シュミットノルムを用いて、複数の変数にわたる多重線形演算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 観測変数のパラメトリックな形を仮定せずに、非パrametricな設定においても潜在木構造を回復できるか？
• RQ2 尤度最大化に依存しないパrameter推定は、特に多峰性や歪度を持つ分布の存在下でも可能か？
• RQ3 RKHS埋め込みにおけるスペクトル的手法が、潜在木モデルに対して局所的最小値を回避する学習と推論を可能にするか？
• RQ4 提案手法の条件付き埋め込みおよび構造学習のためのカーネルベース推定量の理論的収束速度は何か？
• RQ5 既存のパラメトリックまたはヒューリスティックな手法と比較して、構造回復および推論の正確性において本手法はどのように優れているか？

主な発見

• 提案手法は理論的保証を伴う構造回復を達成し、ネイバージョイングや再帰的グループ化をカーネルベースの距離測度を用いて非パrametricな設定に一般化した。
• 共分散作用素の主成分となる特異ベクトルによるパrameter推定は、局所的最小値を回避するため、より安定的かつ理論的に取り扱いやすい学習を可能にする。
• 有限標本における条件付き埋め込みのカーネル推定量は、適切な正則化のもとで母集団の対応物へ Op(n−1/4) の速度で収束する。
• 本手法は高次元の連続的かつ非ガウス分布のデータを効果的に処理でき、ガウス・ミクスチャのようなパラメトリックモデルで見られる指数的爆発の問題を回避する。
• 数値実験により、既存のヒューリスティック的手法やパラメトリック手法と比較して、構造学習および推論の両面で優れた性能を示した。
• RKHS埋め込みとテンソルベースの演算を活用することで、分布が非パラメトリックであっても、回復された木構造上で正確な推論が可能になる。