[論文レビュー] Robust Regression via Hard Thresholding

Kush Bhatia, Prateek Jain+1 more|arXiv (Cornell University)|Jun 8, 2015

Sparse and Compressive Sensing Techniques参考文献 19被引用数 77

ひとこと要約

本稿では、応答変数の一定割合が敵対的に破損している場合でも真のモデルベクトル $\mathbf{w}^*$ を正確に回復できるハードスレッショルド法である Torrent-FC を提案する。この手法は、清澄なデータポイントを交互に特定し、最小二乗法でモデルを更新することで、設計行列 $X$ にやや厳しい決定論的条件（例えば、サブガウス型のサンプリング）が課されても正確な回復を達成する。特に、破損と $X$ の間に独立性を仮定しなくてもよく、かつ真のモデル $\mathbf{w}^*$ に対して普遍的な回復保証が得られる点が主な貢献である。これは、従来の $L_1$ ベース手法とは異なり、破損やデータ分布に関する制限付きの仮定を必要としない。

ABSTRACT

We study the problem of Robust Least Squares Regression (RLSR) where several response variables can be adversarially corrupted. More specifically, for a data matrix X \in R^{p x n} and an underlying model w*, the response vector is generated as y = X'w* + b where b \in R^n is the corruption vector supported over at most C.n coordinates. Existing exact recovery results for RLSR focus solely on L1-penalty based convex formulations and impose relatively strict model assumptions such as requiring the corruptions b to be selected independently of X. In this work, we study a simple hard-thresholding algorithm called TORRENT which, under mild conditions on X, can recover w* exactly even if b corrupts the response variables in an adversarial manner, i.e. both the support and entries of b are selected adversarially after observing X and w*. Our results hold under deterministic assumptions which are satisfied if X is sampled from any sub-Gaussian distribution. Finally unlike existing results that apply only to a fixed w*, generated independently of X, our results are universal and hold for any w* \in R^p. Next, we propose gradient descent-based extensions of TORRENT that can scale efficiently to large scale problems, such as high dimensional sparse recovery and prove similar recovery guarantees for these extensions. Empirically we find TORRENT, and more so its extensions, offering significantly faster recovery than the state-of-the-art L1 solvers. For instance, even on moderate-sized datasets (with p = 50K) with around 40% corrupted responses, a variant of our proposed method called TORRENT-HYB is more than 20x faster than the best L1 solver.

研究の動機と目的

• ロバスト最小二乗回帰（RLSR）に対する従来の $L_1$ ベース凸最適化手法の限界を克服すること。具体的には、破損と設計行列 $X$ の間に独立性を仮定する必要があるなど、制限付きの仮定を回避すること。
• 観測された $X$ と $\mathbf{w}^*$ の後に破損ベクトル $\mathbf{b}$ が選ばれる敵対的破損下でも、真のモデルベクトル $\mathbf{w}^*$ を正確に回復できる、シンプルで直感的なスレッショルドベースのアルゴリズムを開発すること。
• 任意の $\mathbf{w}^* \in \mathbb{R}^p$ に対して成立する非漸近的・決定論的回復保証を提供すること。$\mathbf{w}^*$ が固定または $X$ に対して独立である必要がない点が重要である。
• 勾配降下法を用いた拡張（例：Torrent-HYB）を提案することで、大規模問題にスケーリング可能にし、計算効率を高める一方で、強力な回復保証を維持すること。

提案手法

• コアとなるアルゴリズム Torrent-FC は、現在のモデル推定における残差誤差が最小の $n - Cn$ 個のデータポイントからなる集合 $S_t$ を繰り返し推定する。
• 各反復で、現在の有効集合 $S_t$ 上で最小二乗問題を解くことでモデルベクトル $\mathbf{w}^{t+1}$ を更新する。すなわち、$\sum_{i \in S_t} (y_i - \mathbf{x}_i^T \mathbf{w})^2$ を最小化する。
• 清澄なポイントを特定し、モデルを精緻化するプロセスを交互に繰り返す。敵対的破損は大きな残差を生じさせ、結果として有効集合から除外されるため、この性質を活用する。
• 理論的分析では、設計行列のサブガウス型挙動を制御し、カイ二乗分布の集中不等式を用いて真のモデル下での残差分布を制御する。
• 勾配降下法に基づく変種（例：Torrent-HYB）を提案することで、大規模な設定に拡張し、高次元またはスパースな問題においても効率的な最適化を可能にする。
• 主な技術的要素として、確率論的でない決定論的分析を用い、$X$ に対してやや厳しい仮定（例：サブガウス型テール）を満たせば、$\mathbf{b}$ と $X$ の独立性を仮定しなくても正確な回復を保証する。

実験結果

リサーチクエスチョン

• RQ1 観測された $X$ と $\mathbf{w}^*$ の後に破損ベクトル $\mathbf{b}$ が敵対的に選ばれた場合でも、シンプルなスレッショルドベースのアルゴリズムが真の回帰モデル $\mathbf{w}^*$ を正確に回復できるか？
• RQ2 設計行列 $X$ に対して決定論的仮定（例：サブガウス型サンプリング）が課された場合でも、同様の回復保証が得られるか。特に、等方的または非一様構造を仮定する必要はないか？
• RQ3 高次元スパース回復のような大規模問題に拡張可能か。また、強力な理論的回復保証を維持できるか？
• RQ4 回復精度と計算速度の両面で、最新の $L_1$ ベースソルバーと比較して、スレッショルドベース手法はどの程度優れているか？

主な発見

• Torrent-FC は、$X$ が任意のサブガウス型分布から抽出された場合でも、破損ベクトル $\mathbf{b}$ と $X$ の間に独立性がなくても、$\mathbf{w}^*$ の正確な回復を決定論的条件下で達成する。
• 回復保証は普遍的である。任意の $\mathbf{w}^* \in \mathbb{R}^p$ に対して成立し、$X$ を観測した後に $\mathbf{w}^*$ が敵対的に選ばれても成立する。これは、従来の $L_1$ ベース手法とは異なり、$\mathbf{w}^*$ が固定または $X$ に対して独立である必要がない点で顕著な進歩である。
• 破損応答の最大 $C \cdot n$ 個まで耐えられ、設計行列 $X$ がやや厳しいサブガウス型条件を満たしていれば、正確な回復が保証される。
• 実験的に、Torrent-HYB という変種は、中規模データセット（$p = 50K$）で約 40% の破損応答がある状況下で、最良の $L_1$ ベースソルバーと比較して 20 倍以上高速であり、回復精度は同等または上回る。
• 理論的分析により、アルゴリズムの収束は真のモデル下での残差の集中に起因し、カイ二乗分布の集中不等式と指数型ノルムの制御を用いてその境界を導出している。
• 広範な実験により、$p$、$n$、ノイズレベル $\sigma$ のさまざまな設定において、回復誤差と実行時間の両面で、最新の $L_1$ ソルバーを上回ることが示された。