[論文レビュー] A Spectral Algorithm for Latent Junction Trees

Ankur P. Parikh, Le Song+3 more|arXiv (Cornell University)|Oct 16, 2012

Algorithms and Data Compression参考文献 16被引用数 8

ひとこと要約

本稿では、テンソル代数を用いて潜在的結合木モデルを学習するスペクトル的手法を提案し、局所最適解に陥らない、証明可能に一貫したパrameter推定を可能にする。モデルをテンソル演算とSVDを用いて再定式化することで、特に大規模データセットにおいてEMより高速な計算が実現され、木構造を超えた低木幅の潜在的グラフィカルモデルに対する最初の一貫性を持つ学習手法である。

ABSTRACT

Latent variable models are an elegant framework for capturing rich probabilistic dependencies in many applications. However, current approaches typically parametrize these models using conditional probability tables, and learning relies predominantly on local search heuristics such as Expectation Maximization. Using tensor algebra, we propose an alternative parameterization of latent variable models (where the model structures are junction trees) that still allows for computation of marginals among observed variables. While this novel representation leads to a moderate increase in the number of parameters for junction trees of low treewidth, it lets us design a local-minimum-free algorithm for learning this parameterization. The main computation of the algorithm involves only tensor operations and SVDs which can be orders of magnitude faster than EM algorithms for large datasets. To our knowledge, this is the first provably consistent parameter learning technique for a large class of low-treewidth latent graphical models beyond trees. We demonstrate the advantages of our method on synthetic and real datasets.

研究の動機と目的

• 低木幅の潜在的グラフィカルモデルに対して、証明可能に一貫した学習アルゴリズムを開発すること。特に木構造を超えたモデルへの拡張を目的とする。
• EMのような局所探索ヒューリスティクスの限界を克服すること。これらはしばしば局所最適解に陥る。
• テンソル代数とスペクトル手法を用いて、潜在的結合木における効率的なパrameter学習を可能とすること。
• 行列およびテンソル演算を活用することで、特に大規模データセットにおいてEMと比較して計算コストを低減すること。
• 従来のEMベースの学習手法に対する、グローバル収束性を備えた代替手法を提供すること。

提案手法

• 本手法は、テンソル代数を用いて潜在的結合木を再パrameter化し、結合分布をランク1テンソルの和として表現する。
• 学習問題をテンソル分解問題として定式化し、観測されたモーメントを高次元SVD（HOSVD）を用いて分解する。
• 反復的最適化を回避するため、スペクトル的手法を用いて経験的モーメントから直接潜在パrameterを推定する。
• テンソルの展開とトレuncated SVDを適用し、潜在変数に対応する低ランク成分を抽出する。
• 結合木の代数的構造と、弱い条件下でのテンソル分解の一意性を活用することで、一貫性を保証する。
• コアとなる操作がテンソル操作とSVDに限定されるため、スケーラビリティに優れ、並列処理が容易である。

実験結果

リサーチクエスチョン

• RQ1 局所探索ヒューリスティクスに依存せずに、潜在的結合木モデルを学習できるスペクトル手法を設計できるか？
• RQ2 木構造を超えた低木幅の潜在的グラフィカルモデルにおいて、パrameter学習の証明可能一貫性を達成できるか？
• RQ3 大規模な設定において、スペクトル的手法の計算効率はEMと比べてどのように異なるか？
• RQ4 テンソル代数は、潜在変数モデルにおけるEMの代替としてグローバル収束性を提供できるか？
• RQ5 モデル構造（例：木幅）は、スペクトル学習手法の性能と安定性にどのような影響を及えるか？

主な発見

• 提案されたスペクトル的手法は、低木幅の潜在的結合木モデルに対して、証明可能に一貫したパrameter推定を実現し、EMに内在する局所最適解を回避する。
• SVDとテンソル演算を用いることで、反復的最適化を避けるため、特に大規模データセットにおいてEMよりも著しく高速である。
• 合成データおよび実データの実験結果から、高ノイズまたは高木幅の設定において、EMよりも真のモデル構造とパラメータをより正確に回復することが示された。
• テンソル分解によるグローバル最適化のおかげで、データ分布が複雑であっても安定性と収束性を維持する。
• 計算時間はデータサイズに対して多項式的に増加するため、スケーラビリティを示しており、EMとは異なりしばしば悪いスケーリングを示さない。
• 本手法は、木構造を超えた広範な低木幅の潜在的グラフィカルモデルに対して、最初の証明可能に一貫した学習手法であり、文献における重要な空白を埋めた。