[論文レビュー] Adaptive Hard Thresholding for Near-optimal Consistent Robust Regression

Arun Sai Suggala, Kush Bhatia+2 more|arXiv (Cornell University)|Mar 19, 2019

Sparse and Compressive Sensing Techniques参考文献 27被引用数 18

ひとこと要約

本稿では、盲目的な敵対的攻撃によって最大 1 - o(1) の応答が破損しても一貫した推定を達成できる、ロバストな線形回帰のための新しい適応的ハードしきい値化アルゴリズム AdaCRR を提案する。ランダムな摂動を用いてしきい値を適応的に調整することで、悪い固定点に陥るのを回避し、近似的に最適な統計的レートと線形時間計算量を達成する。これは、スパースおよび重い尾を持つ回帰問題の両方において、既存の手法を上回るロバスト性と効率性を実現する。

ABSTRACT

We study the problem of robust linear regression with response variable corruptions. We consider the oblivious adversary model, where the adversary corrupts a fraction of the responses in complete ignorance of the data. We provide a nearly linear time estimator which consistently estimates the true regression vector, even with $1-o(1)$ fraction of corruptions. Existing results in this setting either don't guarantee consistent estimates or can only handle a small fraction of corruptions. We also extend our estimator to robust sparse linear regression and show that similar guarantees hold in this setting. Finally, we apply our estimator to the problem of linear regression with heavy-tailed noise and show that our estimator consistently estimates the regression vector even when the noise has unbounded variance (e.g., Cauchy distribution), for which most existing results don't even apply. Our estimator is based on a novel variant of outlier removal via hard thresholding in which the threshold is chosen adaptively and crucially relies on randomness to escape bad fixed points of the non-convex hard thresholding operation.

研究の動機と目的

• 高水準の敵対的応答破損下でも真の回帰ベクトルを一貫して推定できる計算効率の良い推定量を設計すること。
• スパース線形モデルにおける一貫性のあるロバスト回帰を、正規分布に近いノイズと高次元設定に拡張すること。
• 分散が無限大であるような分布（例：コーシー分布）を含む重い尾を持つノイズ設定において一貫した推定を提供すること。
• 高レベルの破損下で悪い固定点に陥りやすい固定しきい値手法の限界を克服すること。
• 密度的およびスパースな設定の両方で、通常最小二乗法（OLS）に近い計算複雑度を達成しつつ、ほぼ最適な統計的レートを実現すること。

提案手法

• 固定点を回避するため、ランダム摂動に基づいてしきい値を動的に調整する適応的ハードしきい値化を用いるフレームワーク AdaCRR を提案する。
• 反復的外れ値除去プロセスを採用：各反復で残差を計算し、適応的しきい値化により外れ値を特定・除外した後、残りの点に対して標準的なOLSを解く。
• 2つのバリアントを導入：AdaCRR-FC（固定点更新）と AdaCRR-GD（勾配降下更新）、両者とも1反復あたり O(nd) の計算コストを維持する。
• 悪い局所最小値から脱出可能とするために、しきい値化プロセスにランダム性を導入し、高水準の破損率に対処する上で不可欠である。
• 標準的なRSC仮定の下でスパース回帰に適用し、スパースレベル k* に対して n ≥ k* log²p のサンプル数で十分であることを示す。
• コーシー分布など重い尾を持つノイズに拡張し、一次モーメントが存在しない場合でも一貫した推定が可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 1 - o(1) の応答破損を許容できる線形時間の一貫性のある推定量を設計できるか？
• RQ2 ランダム摂動を用いた適応的しきい値化は、高水準の破損下で悪い固定点への収束を防げるか？
• RQ3 AdaCRR は高次元データにおけるスパース回帰でも一貫性とほぼ最適な統計的レートを維持するか？
• RQ4 コーシー分布のような重い尾を持つノイズ分布下でも、AdaCRR は一貫した推定を達成できるか？（標準的推定量は失敗する。）
• RQ5 高水準の破損下で、Huber回帰や他のロバスト推定量と比較して、AdaCRR の収束速度と精度はどの程度か？

主な発見

• AdaCRR-FC および AdaCRR-GD は、応答の最大 1 - o(1) が破損しても一貫した推定を達成し、固定しきい値手法を著しく上回る性能を示す。
• アルゴリズムは ε-最適解に O(log 1/ε) 反復で収束し、OLS と同等のほぼ線形時間計算量を達成する。
• 重い尾を持つコーシー分布ノイズ設定下では、サンプルサイズが増加するにつれて推定誤差が減少し、OLS や Ridge が失敗する状況でも一貫性を示す。
• Huber回帰に比べて最大 100 倍速く、回復誤差もより良好な結果を達成する。実際には線形収束が観察される。
• スパース回帰において、AdaCRR は n ≥ k* log²p のサンプル数で一貫性を達成し、理論的下界と一致する。
• ノイズなしおよびノイズありの両設定において、基準手法よりもはるかに高い破損率に耐えることができ、Huber回帰はノイズ下でのみ競争力を持つようになる。