[論文レビュー] A Convex Formulation for Mixed Regression: Near Optimal Rates in the Face of Noise.

Yudong Chen, Xinyang Yi+1 more|arXiv (Cornell University)|Dec 25, 2013

Sparse and Compressive Sensing Techniques参考文献 34被引用数 5

ひとこと要約

本論文は、2成分の混合回帰に対して凸最適化定式化を提案し、リフト技術を用いてノイズなしおよびノイズありの両設定において近似的に最適なサンプル複雑度と誤差バウンディングを達成する。これは、敵対的および確率的ノイズ下での回復に対して、タイトな理論的保証を持つ最初の実行可能アルゴリズムである。

ABSTRACT

Mixture models represent the superposition of statistical processes, and are natural in machine learning and statistics. Despite the prevalence and importance of mixture models, little is known in the realm of efficient algorithms with strong statistical guarantees. The Expectation-Minimization (EM) approach is perhaps the most popular, yet save for the Gaussian mixture clustering problem, few guarantees exist. For mixed regression in the noiseless setting, in particular, only recently has an EM-like algorithm been able to provide near-tight guarantees. In the noisy setting, tensor approaches have recently succeeded in providing a tractable and statistically consistent approach, but require a sample complexity much higher than the information-theoretic limits. We consider the mixed regression problem with two components, under adversarial and stochastic noise. Using a lifting to a higher dimensional space, we give a convex optimization formulation that provably recovers the true solution, with near-optimal sample complexity and error bounds. In the noiseless setting, our results remove the extra log factor from recent (and best-to-date) work, thus achieving exact recovery with order-wise as many samples as the degrees of freedom. In the general setting with noise, our results represent the first (and currently only known) tractable algorithm guaranteeing successful recovery with tight bounds on sample complexity and recovery errors.

研究の動機と目的

• 混合回帰に対して、特にノイズあり設定において強力な統計的保証を持つ効率的アルゴリズムが不足しているという問題に対処する。
• EM法やテンソルベースの手法に見られる限界を克服する。これらは、保証がなく、あるいは高いサンプル複雑度を要する。
• 敵対的および確率的ノイズ下で真の回帰成分の証明可能な回復を可能にする凸最適化フレームワークを開発する。
• 情報理論的限界に近い、近似的に最適なサンプル複雑度と誤差バウンディングを達成する。
• 一般のノイズモデル下で、2成分の混合回帰に対して、最初の実行可能でタイトな理論的バウンディングを持つアルゴリズムを提供する。

提案手法

• 非凸問題を凸問題に変換するため、混合回帰問題を高次元空間にリフトする。
• 標準的な凸ソルバーで効率的に解ける凸最適化プログラムとして問題を定式化する。
• 行列補完および低ランク回復にインspiredされたリフト技術を用いて、混合構造を符号化する。
• ノイズに配慮した正則化を組み込むことで、敵対的および確率的ノイズモデル下でのロバストネスを確保する。
• 凸定式化がノイズなしの場合に真の回帰成分を正確に回復できることを証明する。ノイズありの場合には、有界な誤差で回復できることを示す。
• サンプル複雑度および回復誤差に関する理論的バウンディングを確立し、対数因子を除いてオーダー的に最適であることを示す。

実験結果

リサーチクエスチョン

• RQ1 2成分の混合回帰に対して、ノイズが存在する状況でも近似的に最適なサンプル複雑度を達成できる凸定式化を設計できるか？
• RQ2 提案手法は、敵対的および確率的ノイズの両方の下で、証明可能な回復保証を提供するか？
• RQ3 このアルゴリズムのサンプル複雑度は、混合回帰の情報理論的下界に一致または近づけることができるか？
• RQ4 理論的保証の観点から、EM法やテンソルベースのアプローチといった既存の非凸手法と比較して、提案された凸アプローチはどのように異なるか？
• RQ5 追加の対数因子なしに、ノイズなし設定で正確な回復が達成可能か？

主な発見

• 提案された凸定式化は、ノイズなし設定で、自由度に一致するサンプル複雑度で正確な回復を達成し、先行研究に見られる余分な対数因子を除去する。
• ノイズあり設定では、サンプル複雑度が情報理論的限界に近い近似的に最適であり、回復誤差が有界であることを保証する。
• この手法は、2成分の混合回帰に対して、サンプル複雑度および回復誤差の両方のタイトな理論的バウンディングを提供する最初の実行可能アルゴリズムである。
• リフトに基づく凸定式化により、敵対的および確率的ノイズの両方に対してロバストであり、真の解への収束が証明可能である。
• 理論的解析により、アルゴリズムのサンプル複雑度が、対数因子を除いてオーダー的に最適であることが確認され、情報理論的に効率的であることが示される。
• このフレームワークは、EM法やテンソルベースの手法に比べ、理論的保証の観点で限界を克服する、新しい証明可能に一貫性のある混合回帰のアプローチを提供する。