[論文レビュー] High Dimensional Robust Sparse Regression

Liu Liu, Yanyao Shen+2 more|arXiv (Cornell University)|May 29, 2018

Sparse and Compressive Sensing Techniques参考文献 44被引用数 26

ひとこと要約

本稿では、反復硬しきり法（IHT）のロバストな変種に基づく、新規なロバストなスパース回帰アルゴリズムを提示する。この手法は、説明変数および応答変数の両方に任意の破損が存在する場合でも、部分線形のサンプル複雑度と近似的に最適な誤差保証を達成可能であり、ノイズが存在しない場合には正確な回復が可能である。また、未知の構造的共分散を扱うために、ロバストなスパース平均推定のための確率的フィルタリング技術を用いる。

ABSTRACT

We provide a novel -- and to the best of our knowledge, the first -- algorithm for high dimensional sparse regression with constant fraction of corruptions in explanatory and/or response variables. Our algorithm recovers the true sparse parameters with sub-linear sample complexity, in the presence of a constant fraction of arbitrary corruptions. Our main contribution is a robust variant of Iterative Hard Thresholding. Using this, we provide accurate estimators: when the covariance matrix in sparse regression is identity, our error guarantee is near information-theoretically optimal. We then deal with robust sparse regression with unknown structured covariance matrix. We propose a filtering algorithm which consists of a novel randomized outlier removal technique for robust sparse mean estimation that may be of interest in its own right: the filtering algorithm is flexible enough to deal with unknown covariance. Also, it is orderwise more efficient computationally than the ellipsoid algorithm. Using sub-linear sample complexity, our algorithm achieves the best known (and first) error guarantee. We demonstrate the effectiveness on large-scale sparse regression problems with arbitrary corruptions.

研究の動機と目的

• 説明変数および応答変数の両方に任意の破損が存在する状況下でも、正確に保たれる計算的に効率的な高次元スパース回帰アルゴリズムの開発。
• 次元 d に対して部分線形のサンプル複雑度スケーリングを達成しつつ、スパースネス k および破損率 ε のみに依存する回復保証を維持すること。
• 既存の手法が既知または単位行列の共分散を仮定するのに対し、未知の構造的共分散行列を扱えるロバストなスパース回帰における制限の克服。
• 現実的な高次元設定下で、入力および出力の両方に定数割合の任意の破損が存在する場合の、ロバストなスパース回帰に対する最初の誤差保証の提供。
• 未知の共分散構造に対して計算的に効率的かつ柔軟に動作するフィルタリングアルゴリズムの設計、ロバストなスパース平均推定のためのもの。

提案手法

• 破損したサンプルをフィルタリングしながら、スパースパラメータを繰り返し推定するロバストな反復硬しきり法（IHT）の変種を提案する。
• 未知の共分散に対しても有効な、新たな確率的外れ値除去技術を、ロバストなスパース平均推定のためのフィルタリングサブルーチンとして採用する。
• 従来の楕円体ベースの手法に代わり、フィルタリング段階でトレースノルムの最大化を用いて破損したサンプルを特定・削除する。
• サンプル分割とアルゴリズム3によるロバスト勾配推定を適用し、破損下でも収束を保証する。
• 未知の共分散を持つ高次元設定において、計算を効率化するため、スパースPCAソルバを活用する。
• フィルタリングアルゴリズムをロバスト回帰フレームワークに統合し、線形収束性と近似的に最適な誤差境界を維持する。

実験結果

リサーチクエスチョン

• RQ1 説明変数および応答変数の両方に任意の破損が存在する状況下でも、高次元スパース回帰において部分線形のサンプル複雑度を達成できるか？
• RQ2 共分散行列が未知で構造的である場合でも、近似的に最適な誤差保証を維持できるロバストなスパース回帰アルゴリズムを設計可能か？
• RQ3 フィルタリングに基づくロバストなスパース平均推定のアプローチは、楕円体アルゴリズムと比較して計算効率および柔軟性において優れているか？
• RQ4 ロバストなIHT変種は、ノイズが存在しない場合に線形収束を示し、マシン精度に到達するか？
• RQ5 高次元設定下で、破損率（ε）の変動やスパースネスレベル（k）の違いに対して、このアルゴリズムはどのように性能を示すか？

主な発見

• 提案アルゴリズムは、k² log d / ε に比例する部分線形のサンプル複雑度を達成し、情報理論的下界に対数因子を除いて一致する。
• 共分散が単位行列の場合、誤差保証は近似的に情報理論的に最適であり、理論的境界が実験的にも裏付けられる。
• ノイズが存在しない場合（σ² = 0）、パラメータ誤差は線形収束を示し、最終誤差レベルで誤差曲線が平坦化する。
• σ² = 0（追加ノイズなし）の状況では、アルゴリズムはマシン精度に到達し、ノイズレス状況での正確な回復を確認する。
• ロバストなスパース平均推定のためのフィルタリングアルゴリズムは、楕円体アルゴリズムと比較してオーダー的により効率的であり、未知の共分散に対しても有効である。
• 実験結果から、スケーリングされた相対的MSEはスパースネス k や次元 d にほぼ依存せず、理論的サンプル複雑度スケーリングを裏付ける。