[論文レビュー] Alternating Minimization for Mixed Linear Regression

Xinyang Yi, Constantine Caramanis+1 more|arXiv (Cornell University)|Oct 14, 2013

Sparse and Compressive Sensing Techniques参考文献 13被引用数 78

ひとこと要約

本稿では、データ行列の主2つの固有ベクトルに基づく新しいスペクトル初期化を導入することで、混合線形回帰における証明可能に収束する交互最小化アルゴリズムを提案する。この初期化のもとで、EMに基づくアルゴリズムは、たった $ O(k\log^2 k) $ 個のサンプルで真の回帰ベクトルへ指数関数的に収束し、対数要因を除いて最適なサンプル複雑度を達成するとともに、この設定におけるEMに対する理論的保証を初めて提供する。

ABSTRACT

Mixed linear regression involves the recovery of two (or more) unknown vectors from unlabeled linear measurements; that is, where each sample comes from exactly one of the vectors, but we do not know which one. It is a classic problem, and the natural and empirically most popular approach to its solution has been the EM algorithm. As in other settings, this is prone to bad local minima; however, each iteration is very fast (alternating between guessing labels, and solving with those labels). In this paper we provide a new initialization procedure for EM, based on finding the leading two eigenvectors of an appropriate matrix. We then show that with this, a re-sampled version of the EM algorithm provably converges to the correct vectors, under natural assumptions on the sampling distribution, and with nearly optimal (unimprovable) sample complexity. This provides not only the first characterization of EM's performance, but also much lower sample complexity as compared to both standard (randomly initialized) EM, and other methods for this problem.

研究の動機と目的

• EMアルゴリズムが混合線形回帰において局所最適解に陥りやすいにもかかわらず、その理論的保証が不足しているという問題に対処すること。
• EMがグローバル最適解に収束できる、証明可能な正しい初期化スキームの開発。
• ラベルなしの線形測定値から2つの未知の回帰ベクトルを回復するための、ほぼ最適なサンプル複雑度の達成。
• 混合線形回帰の文脈において、EMアルゴリズムの最初の解析的性能バインディングの確立。

提案手法

• データから構築された行列の主2つの固有ベクトルを計算するスペクトル初期化を提案し、これが真の回帰ベクトルの良い初期推定値として機能する。
• この初期化を用いて、再サンプリングされたEMアルゴリズムを初期化し、ラベル割り当てと回帰係数更新の間を交互に繰り返す。
• 集中不等式と確率的行列理論を適用して、各EM反復における誤差をバインドし、指数関数的収束を示す。
• 正しいおよび誤ったラベルが割り当てられたサンプルからなる部分行列の最小特異値のバインドを導出し、推定誤差を制御する。
• Hoeffdingの不等式および標準的な集中結果を用いて、各反復における正しいおよび誤ったラベル割り当ての数を制御する。
• やや弱い仮定のもとで、各反復で誤差が半分以下に減少することを示し、真のベクトルへの指数関数的収束に至る。

実験結果

リサーチクエスチョン

• RQ1 混合線形回帰におけるEMがグローバル最適解に証明可能に収束するようにするスペクトル初期化を設計できるか？
• RQ2 この初期化を用いたEMが、高い確率で真の回帰ベクトルを回復するための最小サンプル数は何か？
• RQ3 提案手法は、既存の手法と比較して、最適またはほぼ最適なサンプル複雑度を達成できるか？
• RQ4 混合線形回帰におけるEMに対して、理論的性能保証を確立できるか？これは、これまで分析が不足していた分野である。

主な発見

• 提案されたスペクトル初期化により、自然なサンプリング仮定のもとで、EMアルゴリズムが真の回帰ベクトルへ指数関数的に収束することが保証される。
• アルゴリズムは $ O(k\log^2 k) $ 個のサンプルで正確な回復を達成し、次元 $ k $ において対数要因を除いて最適な複雑度を達成する。
• 標準的なEMや他の既存手法と比較して、サンプル複雑度が著しく低く抑えられており、より多くのサンプルを必要とするか、理論的保証を欠くものと比較して優位である。
• 推定された回帰ベクトルの誤差が、各EM反復で少なくとも半分に減少することが示され、指数関数的収束が得られる。
• 理論的解析により、ノイズなし設定のもとで、この手法が高確率で真の値を正確に回復することが確認された。
• 本手法は、混合線形回帰におけるEMの最初の解析的性能特徴付けを提供し、長年の未解決問題を解決した。