[論文レビュー] A Sober Look at Spectral Learning

Han Zhao, Pascal Poupart|arXiv (Cornell University)|Jun 18, 2014

Gaussian Processes and Bayesian Inference参考文献 11被引用数 7

ひとこと要約

本稿は、HMM などの潜在変数モデルにおけるスペクトル学習（SL）を批判的に評価し、理論的整合性保証が強くても、ランクの誤推定やデータ不足のため実際には頻繁に負の確率が生じることを明らかにした。驚くべきことに、EM はしばしば SL を上回り、識別可能なモデルでは一貫性を示す可能性があり、EM が局所最適解のため本質的に不一致であるという仮定に疑問を呈する。

ABSTRACT

Spectral learning recently generated lots of excitement in machine learning, largely because it is the first known method to produce consistent estimates (under suitable conditions) for several latent variable models. In contrast, maximum likelihood estimates may get trapped in local optima due to the non-convex nature of the likelihood function of latent variable models. In this paper, we do an empirical evaluation of spectral learning (SL) and expectation maximization (EM), which reveals an important gap between the theory and the practice. First, SL often leads to negative probabilities. Second, EM often yields better estimates than spectral learning and it does not seem to get stuck in local optima. We discuss how the rank of the model parameters and the amount of training data can yield negative probabilities. We also question the common belief that maximum likelihood estimators are necessarily inconsistent.

研究の動機と目的

• 潜在変数モデル、特に HMM におけるスペクトル学習（SL）と期待最大化（EM）を実験的に評価すること。
• SL における負の確率の根本的原因、特にモデルのランクと学習データサイズとの関連を調査すること。
• 最大尤度推定器（EM など）が局所最適解のため本質的に不一致であるという一般的な信念に疑問を呈すること。
• SL と EM のデータ効率性と目的関数の質を比較すること。
• 非凸な尤度関数を持つ識別可能な離散的潜在変数モデルにおいて、EM が一貫性を示せるかどうかを検討すること。

提案手法

• 異なるデータサイズとモデルランクを用いた合成 HMM に対して、SL（LearnHMM を通じて）と EM を実験的に評価する。
• 特異値分解（SVD）とテンソル分解を用いて、低次の経験的モーメント（P1, P2,1, P3,x,1）を推定する。
• 2状態・2観測の単一パラメータ HMM を構築し、尤度関数を解析的に計算し、その形状を可視化する。
• 混合ディリクレ分布として不規則な尤度曲線を計算し、多峰性と収束行動を分析する。
• 複数回のランダム再起動による EM 結果を比較し、一貫性と局所最適解の影響を評価する。
• 解析的尤度計算を用いて、EM の解が真の尤度を超えるかどうかを検証し、過学習または一貫性の有無を確認する。

実験結果

リサーチクエスチョン

• RQ1 理論的整合性は保証されているが、なぜスペクトル学習は実際には頻繁に負の確率を生じるのか？
• RQ2 モデルのランクと学習データサイズは、スペクトル学習における負の確率の発生にどのように影響するか？
• RQ3 EM は局所最適解に陥りやすいにもかかわらず、なぜスペクトル学習を上回る性能を示すことがあるのか？
• RQ4 非凸な尤度関数を持つ識別可能な離散的潜在変数モデルにおいて、EM は一貫性を示せるのか？
• RQ5 尤度関数が非凸かつ多峰的であるにもかかわらず、なぜ EM はしばしば高尤度解に到達するのか？

主な発見

• スペクトル学習は、モデルランクの誤推定や学習データ不足のため、頻繁に負の確率を生じる。これはその実用的有用性を損なう要因である。
• EM は理論的整合性保証がなくても、尤度と予測精度の点で常にスペクトル学習を上回る。
• 識別可能なモデルでは、データ量が増えるにつれて尤度関数が単峰的になるため、実際には EM は悪い局所最適解を避ける。
• EM の解はしばしば真のパラメータの尤度を上回るが、これは過学習を示唆する一方で、一貫性の欠如を示すものではない。識別可能な設定では EM が一貫している可能性がある。
• EM はデータから得られるすべての経験的モーメントを活用するため、SL よりもデータ効率が高く、SL は低次のモーメントにのみ依存する。
• 本稿は、EM が本質的に不一致であるという仮定に疑問を呈し、識別可能なモデルでは同等の解に収束できることを示した。