[論文レビュー] Robust High Dimensional Sparse Regression and Matching Pursuit

Yudong Chen, Constantine Caramanis+1 more|arXiv (Cornell University)|Jan 12, 2013

Sparse and Compressive Sensing Techniques参考文献 31被引用数 13

ひとこと要約

本稿では、誘導変数および応答変数の両方に悪意ある行および分散型の汚染が存在する高次元スパース回帰に対して、計算的に効率的なアルゴリズムであるロバスト直交マッチング Pursuit (RoMP) を提案する。この手法は、$ n_1 = O(n/(√k \log p)) $ 個の汚染された点までサポート回復を達成でき、分布的仮定なしに最悪の悪意ある汚染下でも、ブルートフォース法や既存のロバスト手法を著しく上回る性能を発揮する。

ABSTRACT

We consider high dimensional sparse regression, and develop strategies able to deal with arbitrary -- possibly, severe or coordinated -- errors in the covariance matrix $X$. These may come from corrupted data, persistent experimental errors, or malicious respondents in surveys/recommender systems, etc. Such non-stochastic error-in-variables problems are notoriously difficult to treat, and as we demonstrate, the problem is particularly pronounced in high-dimensional settings where the primary goal is {\em support recovery} of the sparse regressor. We develop algorithms for support recovery in sparse regression, when some number $n_1$ out of $n+n_1$ total covariate/response pairs are {\it arbitrarily (possibly maliciously) corrupted}. We are interested in understanding how many outliers, $n_1$, we can tolerate, while identifying the correct support. To the best of our knowledge, neither standard outlier rejection techniques, nor recently developed robust regression algorithms (that focus only on corrupted response variables), nor recent algorithms for dealing with stochastic noise or erasures, can provide guarantees on support recovery. Perhaps surprisingly, we also show that the natural brute force algorithm that searches over all subsets of $n$ covariate/response pairs, and all subsets of possible support coordinates in order to minimize regression error, is remarkably poor, unable to correctly identify the support with even $n_1 = O(n/k)$ corrupted points, where $k$ is the sparsity. This is true even in the basic setting we consider, where all authentic measurements and noise are independent and sub-Gaussian. In this setting, we provide a simple algorithm -- no more computationally taxing than OMP -- that gives stronger performance guarantees, recovering the support with up to $n_1 = O(n/(\sqrt{k} \log p))$ corrupted points, where $p$ is the dimension of the signal to be recovered.

研究の動機と目的

• 誘導変数および応答変数が任意の悪意ある汚染を受ける状況下でも、高次元スパース回帰におけるサポート回復の課題に取り組むこと。
• 決定的汚染バウンドの下で、保証可能な性能を提供する計算的に効率的なアルゴリズムを構築すること。これは、先行するロバスト回帰や外れ値除去手法とは異なり、確率的仮定を必要としない。
• 標準的なアルゴリズムがわずかな汚染点に対しても失敗する高次元設定において、理論的性能と実用的ロバスト性のギャップを埋めること。
• 特に汚染が連携的かつ非構造的である場合に、行汚染および分散汚染モデル下でのサポート回復の根本的限界を分析すること。
• ブルートフォース部分集合探索が、$ O(n/k) $ 個の汚染された点でさえも無効であることを示し、より知的で構造的なアルゴリズムの必要性を強調すること。

提案手法

• Omp にインspired された逐次的グリーディー・アルゴリズムであるロバスト直交マッチング Pursuit (RoMP) を提案し、トリミング手順を用いて汚染データに対処するように適応化する。
• 外れ値が極端な値を持つと仮定し、誘導変数と応答との間の内積の絶対値が最大のものを除外するトリミング機構を用いる。
• サブガウス分布の集中不等式を用いて、インライヤーとアウトライヤーの寄与を別々にバウンドし、悪意ある汚染に対してロバストであることを保証する。
• トリミング後の各誘導変数と応答の間の相関を分析し、絶対値が最大のインデックスを次のサポート候補として選択する。
• 測度集中およびインライヤーの独立性仮定に基づき、推定誤差およびサポート回復に関する高確率バウンドを導出する。
• 二段階の分析を適用する：まず、各係数の推定誤差をバウンドし、次に RoMP が真のサポートを正しく特定するための条件を確立する。

実験結果

リサーチクエスチョン

• RQ1 誘導変数および応答変数が悪意ある汚染を受ける状況下でも、分布的仮定なしに高次元スパース回帰におけるサポート回復を保証できるか？
• RQ2 真のサポートを回復できる最大の汚染点数 $ n_1 $ は何か？
• RQ3 なぜ標準的なロバスト回帰および外れ値除去手法は、誘導変数に悪意ある汚染が存在する高次元設定で失敗するのか？
• RQ4 ブルートフォース部分集合選択と比較して、RoMP の性能はどのように異なるのか？
• RQ5 凸最適化に基づくアプローチは、この設定において RoMP よりも優れたロバスト性保証を達成できるか？

主な発見

• RoMP は、悪意ある行および分散汚染下でも、$ n_1 = O(n/(√k \log p)) $ 個の汚染された点までサポート回復を達成でき、$ k $ はスパarsity、$ p $ は次元を表す。
• すべての部分集合とすべての可能なサポートを探索するブルートフォース法は、サブガウス分布のインライヤーとノイズを満たしても、$ n_1 = O(n/k) $ 個の汚染された点でさえも失敗する。
• Justice Pursuit や凸緩和に基づくアプローチなど、既存の手法よりも、RoMP はロバスト性および計算効率の面で優れている。
• 理論的分析により、RoMP の推定誤差は各係数について $ O(\sqrt{\log p / n}) $ でバウンドされ、汚染に起因する追加項 $ n_1 \cdot (\log p / n) \cdot \|\beta^*\|_2 $ が存在する。
• 信号対雑音比とスパarsity が $ n \gtrsim \max_j (\|\beta^*\|_2^2 / \beta_j^{*2}) \cdot \log p \cdot (1 + \sigma_e^2 / \|\beta^*\|_2^2) $ を満たす場合、アルゴリズムは正しいサポート選択を保証する。
• 分析は行汚染および分散汚染モデルに適用可能であり、汚染パターンに分布的仮定は一切不要で、集合の基数に制限があることのみを仮定する。