[論文レビュー] Learning Latent Tree Graphical Models

Myung Jin Choi, Vincent Y. F. Tan+2 more|arXiv (Cornell University)|Sep 14, 2010

Natural Language Processing Techniques被引用数 24

ひとこと要約

本稿では、観測変数のうち一部のみが観測可能であっても、観測ノードが葉ノードに限定されない条件下で、最小の潜在木グラフィカルモデルを一貫して学習できる、計算的に効率的な2つのアルゴリズム—再帰的グループ化とCLGrouping—を提案する。CLGroupingは、事前に観測変数上にChow-Liu木を構築することで、その後の再帰的グループ化をガイドする。これにより、サンプル数が対数的であることを保証し、緩い条件下でも構造的一致性を達成する。

ABSTRACT

We study the problem of learning a latent tree graphical model where samples are available only from a subset of variables. We propose two consistent and computationally efficient algorithms for learning minimal latent trees, that is, trees without any redundant hidden nodes. Unlike many existing methods, the observed nodes (or variables) are not constrained to be leaf nodes. Our first algorithm, recursive grouping, builds the latent tree recursively by identifying sibling groups using so-called information distances. One of the main contributions of this work is our second algorithm, which we refer to as CLGrouping. CLGrouping starts with a pre-processing procedure in which a tree over the observed variables is constructed. This global step groups the observed nodes that are likely to be close to each other in the true latent tree, thereby guiding subsequent recursive grouping (or equivalent procedures) on much smaller subsets of variables. This results in more accurate and efficient learning of latent trees. We also present regularized versions of our algorithms that learn latent tree approximations of arbitrary distributions. We compare the proposed algorithms to other methods by performing extensive numerical experiments on various latent tree graphical models such as hidden Markov models and star graphs. In addition, we demonstrate the applicability of our methods on real-world datasets by modeling the dependency structure of monthly stock returns in the S&P index and of the words in the 20 newsgroups dataset.

研究の動機と目的

• 観測変数の一部のみが観測可能な状況下で、最小の潜在木グラフィカルモデルを一貫的かつ効率的に学習するアルゴリズムの開発。
• 従来の手法の制限を克服し、観測変数が潜在木の階層において任意の位置に配置可能であることを許容する（葉ノードに限定しない）。
• グローバルな事前処理ステップを組み込むことで、局所的な再帰的グループ化をガイドし、学習の正確性と効率性を向上させる。
• 構造的一致性およびパrametric一貫性に関する理論的保証を確立し、望ましいサンプル複雑性および計算複雑性を達成する。
• 隠れマルコフモデル、スターモデル、および実世界データ（S&P株式リターン、20 Newsgroups）を含む多様なモデルにおいて、手法の有効性を示す。

提案手法

• 再帰的グループ化は、変数の三つ組間の情報距離を用いて、兄弟グループを同定することで、下位から上位への構築を行う。
• CLGroupingは、観測変数上にChow-Liu木を事前に構築し、トポロジカルに近いグループを特定する。その後、その結果をもとに、より小さなサブセット上で再帰的グループ化を実行する。
• 情報距離は実データから推定され、構造学習のための十分統計量として用いられ、離散的およびガウス型モデルの両方に適用可能である。
• 再帰的グループ化では、一貫性を保証するための緩いしきい値処理を用い、真の情報距離の一様有界性に基づいてしきい値を決定する。
• 任意の分布に対する潜在木近似を学習するための正則化バージョンのアルゴリズムを導入する。
• 理論的分析では、濃度不等式（例：Chernoffの不等式）を用い、誤差確率が指数関数的に減少することを示し、これにより対数的サンプル複雑性が導かれる。

実験結果

リサーチクエスチョン

• RQ1 観測変数の一部のみが観測可能であっても、観測ノードが葉ノードに限定されない条件下で、潜在木グラフィカルモデルの構造を一貫して学習可能か？
• RQ2 グローバルな事前処理ステップは、再帰的潜在木学習の正確性と効率性をどのように向上させるか？
• RQ3 情報距離に基づく手法を用いた潜在木モデルの学習におけるサンプル複雑性は何か？また、観測変数の数に関して対数的に上限を設定可能か？
• RQ4 パrametric推定の一貫性が成立する条件は何か？また、構造的一致性がリスク的一致性をどのように示唆するか？
• RQ5 多様なモデルおよび実世界データにおいて、提案手法は既存手法と比較して正確性および頑健性に優れているか？

主な発見

• CLGroupingは、有効深さが定数であると仮定すれば、構造的一致性を達成し、サンプル複雑性がO(log m)である。ここでmは観測変数の数である。
• 再帰的グループ化アルゴリズムは、構造的およびパrametricに一貫しており、誤差確率はサンプル数の増加に伴い指数関数的に減少する。
• ガウス型および対称的離散モデルでは、情報距離とモデルパラメータとの間に一対一の対応があるため、構造的一致性からリスク的一致性が導かれる。
• 広範な数値実験により、CLGroupingおよび再帰的グループ化は、隠れマルコフモデル、スターグラフ、完全木に対して、既存手法を上回る性能を示した。
• アルゴリズムは、月次S&P 500株式リターンの実世界的依存関係および20 Newsgroupsデータセットにおける語の共起関係を効果的にモデル化し、実用的有用性を示した。
• 正則化されたバージョンのアルゴリズムは、真のデータ分布が正確に木構造的でない場合でも、安定した潜在木近似を提供した。