[論文レビュー] Spectral Experts for Estimating Mixtures of Linear Regressions

Arun Tejasvi Chaganty, Percy Liang|arXiv (Cornell University)|Jun 17, 2013

Tensor decomposition and applications参考文献 22被引用数 63

ひとこと要約

本稿では、スペクトル的手法を用いて、混合線形回帰モデルのパラメータ推定を、証明可能に一貫的かつ計算的に効率的に行うための「Spectral Experts」を提案する。低ランク線形回帰を用いて高次モーメントから対称テンソルを構築し、テンソルパワー法を用いて因子分解することで、EM法で一般的に見られる局所最適解を回避し、同定可能性条件の下で一貫したパrameter推定を達成する。

ABSTRACT

Discriminative latent-variable models are typically learned using EM or gradient-based optimization, which suffer from local optima. In this paper, we develop a new computationally efficient and provably consistent estimator for a mixture of linear regressions, a simple instance of a discriminative latent-variable model. Our approach relies on a low-rank linear regression to recover a symmetric tensor, which can be factorized into the parameters using a tensor power method. We prove rates of convergence for our estimator and provide an empirical evaluation illustrating its strengths relative to local optimization (EM).

研究の動機と目的

• EM法のような局所最適化手法の限界、特に局所最適解に陥りやすい識別的潜在変数モデルの推定を改善すること。
• 混合線形回帰モデル—識別的潜在変数モデルの代表例—の計算的に効率的で証明可能に一貫した推定器を開発すること。
• 従来生成モデル（HMM や LDA）に用いられてきたスペクトル手法を、応答変数のモーメントから対称テンソルを構築することで、識別的モデルへと拡張すること。
• まず低ランク回帰でテンソル構造を回復し、次にテンソルパワー反復を用いてパラメータを回復する二段階のアルゴリズムを提供すること。
• Spectral ExpertsがEM法の初期化として有効であることを示し、ランダム初期化に比べて収束が著しく改善されることを示すこと。

提案手法

• 応答変数の二乗および三乗を低ランク線形回帰で予測し、問題をテンソル回復タスクに変換する。
• y²およびy³の回帰係数から対称テンソルを構築し、それらが潜在的な混合パラメータを符号化していることを確認する。
• これらの対称テンソルの因子分解にテンソルパワー法を適用し、成分の平均および混合重みを回復する。
• 二階モーメントテンソルの固有値分解を用いたホワイトニングを導入し、テンソルパワー反復の安定性を高め、収束性を向上させる。
• テンソル演算を簡略化し、パラメータ回復における対称性を維持するために、畳み込みベクトル化（\operatorname{cvec}）を用いる。
• Weylの不等式および作用素ノルム解析を用いて、推定されたホワイトニング行列およびその逆行列の摂動をバウンディングすることで、頑健性を確保する。

実験結果

リサーチクエスチョン

• RQ1 第三モーメントが自然に対称テンソル構造を生まない混合線形回帰のような識別的潜在変数モデルに、スペクトル手法を適応可能か？
• RQ2 低ランク回帰で対称テンソルを構築し、その後テンソルパワー反復を適用する二段階的手法が、一貫的かつ計算的に効率的なパラメータ推定を達成できるか？
• RQ3 Spectral Expertsの性能は、収束性および統計的効率性の観点でEM法と比較してどうか？
• RQ4 Spectral ExpertsはEM法の信頼できる初期化として機能し、収束行動を改善できるか？
• RQ5 推定器が一貫性を保つための理論的収束レートおよび同定可能性条件は何か？

主な発見

• Spectral Expertsアルゴリズムは、混合線形回帰の標準的な同定可能性条件の下で、一貫したパラメータ推定を達成する。
• 本手法は証明可能に一貫的であり、スペクトル分解とテンソル因子分解によるグローバル最適化のおかげで、局所最適解を回避する。
• 実験的評価では、Spectral Expertsがランダム初期化のEM法を著しく上回ることを示し、グローバル初期化戦略としての価値を示している。
• Spectral Expertsは一般にEM法の最終的精度を上回らないが（おそらく統計的効率が低いことが要因）、収束を加速する強力で高速な初期化を提供する。
• 理論的解析により、ホワイトニング変換の誤差およびその逆行列の誤差に境界が設定されており、作用素ノルムおよびWeylの不等式を用いて、モーメント推定値の摂動が制御されていることが示された。
• 畳み込みベクトル化（\operatorname{cvec}）の使用により、対称性が保持され、同定可能性条件が単純化され、効率的かつ安定したテンソル回復が可能になった。