[論文レビュー] A spectral algorithm for robust regression with subgaussian rates

Jules Depersin|arXiv (Cornell University)|Jul 12, 2020

Advanced Statistical Methods and Models参考文献 41被引用数 4

ひとこと要約

本稿では、最小限の仮定（有限な4次モーメントと悪意ある外れ値の存在）の下で、サブガウス型の誤差レートを達成するロバストな線形回帰のスペクトル的手法を提示する。平均推定におけるスペクトル法を回帰に適応させ、新たな経験的過程を導入することで、線形から2次までの時間計算量を実現し、実用的な展開が可能であると同時に、理想のガウス型レートに一致する最適な統計的性能を保証する。

ABSTRACT

We study a new linear up to quadratic time algorithm for linear regression in the absence of strong assumptions on the underlying distributions of samples, and in the presence of outliers. The goal is to design a procedure which comes with actual working code that attains the optimal sub-gaussian error bound even though the data have only finite moments (up to $L_4$) and in the presence of possibly adversarial outliers. A polynomial-time solution to this problem has been recently discovered but has high runtime due to its use of Sum-of-Square hierarchy programming. At the core of our algorithm is an adaptation of the spectral method introduced for the mean estimation problem to the linear regression problem. As a by-product we established a connection between the linear regression problem and the furthest hyperplane problem. From a stochastic point of view, in addition to the study of the classical quadratic and multiplier processes we introduce a third empirical process that comes naturally in the study of the statistical properties of the algorithm.

研究の動機と目的

• 弱いモーメント仮定と悪意ある外れ値の下で、最適な統計的性能を維持しつつ、計算的に効率的な回帰アルゴリズムを開発すること。
• サブガウス型の誤差レート（i.i.d. ガウス分布の場合の理想状態に一致）を達成すること。これには、サブガウス型または有界なデータを仮定する必要がない。
• 理論的保証（統計的精度と計算効率の両面）を備えた、実装可能なアルゴリズムを提供すること。
• 理論的実行時間を O(Nd) から O(N²d) に保証することで、重い尾または汚染された分布を示す現実のデータセットに対しても実用的であることを確立すること。
• 理論的ロバスト推定量と実用的でコードで実装可能なアルゴリズムの間のギャップを埋めること、特に有限標本性能が優れていること。

提案手法

• 設計行列と応答ベクトルの変換を介して、平均推定におけるスペクトル法（以前は[35]で使用された）を線形回帰設定に適応する。
• データのブロックごとの分解を用いて経験的過程を構築し、集中不等式を用いて乖離を制御する。
• 古典的な2次およびマルチプライヤー過程を超える、第3の経験的過程を導入し、アルゴリズムの統計的挙動を分析するために不可欠である。
• 主特異ベクトルの計算をコアな計算プリミティブとして用い、線形から2次までの時間計算量を実現する。
• VC次元の境界と[13]の集中結果を適用して、経験的過程の乖離を制御し、サブガウス型の尾部境界を保証する。
• プルーニングとブロック選択戦略を組み込むことで、外れ値に対してロバストでありながら、統計的効率性を維持する。

実験結果

リサーチクエスチョン

• RQ1 有限な4次モーメントと悪意ある外れ値の下で、計算的に効率的なアルゴリズムが、線形回帰においてサブガウス型の誤差レートを達成できるか？
• RQ2 平均推定からのスペクトル法を回帰設定に一般化することで、ロバスト性と最適な統計的性能を保証できるか？
• RQ3 重い尾を持つ回帰において、最適なサブガウス型レートを達成するために必要な最小限の計算コストは何か？
• RQ4 実用的でコードで実装可能なアルゴリズムは、弱い分布的仮定の下で、MLE/OLSの理論的性能を、理想のガウス設定で再現できるか？
• RQ5 スペクトル回帰アルゴリズムの解析において、自然に出現する新しい経験的過程構造は何か？そして、その構造はどのように制御できるか？

主な発見

• アルゴリズムは最適なサブガウス型誤差レートを達成し、i.i.d. ガウスフレームワークにおけるMLE/OLSの乖離境界と一致する。これは、L⁴-有限モーメントの唯一の仮定のもとでも成立する。
• 高確率（1−δ）で、弱いモーメント仮定のもとで推定誤差が O(√(log(1/δ)/N)) で有界であり、サブガウス型の場合と同じレートを達成する。
• アルゴリズムの実行時間は最良の場合 O(Nd)、最悪の場合 O(N²d) であり、大規模なデータセットに対してもスケーラブルである。
• この手法は線形回帰と「最も遠い超平面問題」との間で新たな接点を確立し、ロバスト推定に対する幾何的洞察を提供する。
• この解析では、スペクトル回帰フレームワークにおけるサブガウス型の乖離境界を証明するために不可欠な、新しい経験的過程を導入し、制御する。
• 高確率（≥ 1−1/32）で、アルゴリズムの誤差は、最適なサブガウス型レートの定数倍で有界であり、悪意ある汚染の下でも成立する。