[論文レビュー] A Convex Formulation for Mixed Regression with Two Components: Minimax Optimal Rates

Yudong Chen, Xinyang Yi+1 more|arXiv (Cornell University)|Dec 25, 2013

Statistical Methods and Inference被引用数 16

ひとこと要約

本稿では、2成分の混合線形回帰に対する凸最適化定式化を提案し、敵対的および確率的ノイズ下でも真の回帰係数の確実な回復を可能にする。標本複雑度がほぼ $ O(p) $ であり、先行するテンソルベースの手法を上回り、対数要因を除いて情報理論的限界に一致する最小最大最適誤差率を達成する。

ABSTRACT

We consider the mixed regression problem with two components, under adversarial and stochastic noise. We give a convex optimization formulation that provably recovers the true solution, and provide upper bounds on the recovery errors for both arbitrary noise and stochastic noise settings. We also give matching minimax lower bounds (up to log factors), showing that under certain assumptions, our algorithm is information-theoretically optimal. Our results represent the first tractable algorithm guaranteeing successful recovery with tight bounds on recovery errors and sample complexity.

研究の動機と目的

• ラベルが観測不能な2つの未知の回帰係数を有する混合線形回帰の問題に取り組むこと。これは統計的および計算的に困難な課題である。
• 敵対的および確率的ノイズ下でも、保証付きの回復が可能な効率的かつ実行可能なアルゴリズムを開発すること。
• 推定誤差と標本複雑度に関するタイトな境界を達成し、対数要因を除いて情報理論的下界に一致させること。
• 特に高次元設定において、計算効率と統計的最適性のトレードオフを解消すること。

提案手法

• 混合回帰問題を、混合構造を捉えるためにリフトド表現を用いた凸最適化問題として定式化する。
• 半正定値計画法によるグローバル最適化を可能にする凸緩和を導入し、EM法の局所最適解の問題を回避する。
• モーメントベース推定とテンソルに類似した制約を用いて、ラベルなしデータから2つの回帰係数を同時に回復する。
• ガウス設計仮定の下で、集中不等式およびスペクトル解析を用いて理論的保証を確立する。
• 双対性およびノルム集中を用いて推定誤差の上界を導出し、敵対的およびサブガウスノイズの両方に対してロバストであることを示す。
• 最小最大下界を証明し、上界と対数要因を除いて一致させ、情報理論的最適性を確認する。

実験結果

リサーチクエスチョン

• RQ1 敵対的ノイズ下でも、凸最適化アプローチが2成分混合線形回帰において保証付き回復を達成できるか？
• RQ2 確率的ノイズ下で2つの回帰係数を回復するための最適な標本複雑度は何か？
• RQ3 提案された凸定式化は、対数要因を除いて最小最大最適誤差率を達成するか？
• RQ4 確率的設定下で、誤差率は信号対ノイズ比および次元に対してどのようにスケーリングされるか？
• RQ5 本手法は、標本複雑度および誤差境界の両面で、既存の非凸またはテンソルベースの手法を上回ることができるか？

主な発見

• 敵対的ノイズ下では、推定誤差が $ \|\bm{e}\|_2 / \sqrt{n} $ のオーダーで抑えられ、$ O(p) $ の標本数でノイズなし状態において正確な回復が可能である。
• バランスの取れたラベルとガウス設計の下での確率的ノイズ設定では、信号対ノイズ比に応じて誤差率が3つの明確な段階に分けられ、$ \gamma \geq \sigma $ のとき最適スケーリング $ \sigma \sqrt{p/n} $ を示す。
• 任意のノイズおよび確率的ノイズの両設定において、誤差率が対数要因を除いて最小最大最適であることが確認され、理論的最適性が裏付けられる。
• 標本複雑度は $ O(p) $ であり、情報理論的下界と一致しており、先行するテンソルベース手法が $ O(p^6) $ の標本数を要するのを改善する。
• 凸定式化により、EM法の局所最適解の問題を回避し、グローバル収束保証が得られ、既存の非凸アプローチとは異なり、より強固である。
• 解析により、標準回帰とは異質に、信号とノイズの相対的大きさに依存した非標準的な段階的挙動が誤差スケーリングに現れることが明らかになった。