[論文レビュー] Robust Regression Revisited: Acceleration and Improved Estimation Rates

Arun Jambulapati, Jerry Li+2 more|arXiv (Cornell University)|Jun 22, 2021

Machine Learning and Algorithms参考文献 40被引用数 7

ひとこと要約

本稿では、最大 $\epsilon$ 分の1のデータが敵対的に破損している強力な汚染モデル下で、改善された推定レートとほぼ線形の実行時間を持つ、新たな加速されたロバスト回帰アルゴリズムを提示する。ロバスト勾配推定とミョウラ包絡を用いた加速最適化を組み合わせることで、統計的誤差が $O(\sqrt{\kappa\epsilon/\mu})$ に抑えられ、サンプル複雑度は $O(\text{poly}(\log n) \cdot d/\epsilon)$、実行時間複雑度はほぼ線形となり、先行研究を著しく上回る。

ABSTRACT

We study fast algorithms for statistical regression problems under the strong contamination model, where the goal is to approximately optimize a generalized linear model (GLM) given adversarially corrupted samples. Prior works in this line of research were based on the robust gradient descent framework of Prasad et. al., a first-order method using biased gradient queries, or the Sever framework of Diakonikolas et. al., an iterative outlier-removal method calling a stationary point finder. We present nearly-linear time algorithms for robust regression problems with improved runtime or estimation guarantees compared to the state-of-the-art. For the general case of smooth GLMs (e.g. logistic regression), we show that the robust gradient descent framework of Prasad et. al. can be accelerated, and show our algorithm extends to optimizing the Moreau envelopes of Lipschitz GLMs (e.g. support vector machines), answering several open questions in the literature. For the well-studied case of robust linear regression, we present an alternative approach obtaining improved estimation rates over prior nearly-linear time algorithms. Interestingly, our method starts with an identifiability proof introduced in the context of the sum-of-squares algorithm of Bakshi and Prasad, which achieved optimal error rates while requiring large polynomial runtime and sample complexity. We reinterpret their proof within the Sever framework and obtain a dramatically faster and more sample-efficient algorithm under fewer distributional assumptions.

研究の動機と目的

• 最大 $\epsilon$ 分の1のデータが敵対的に破損している状況下で、一般化線形モデルにおけるロバストなパrameter推定の課題に取り組むこと。
• 強力な汚染モデル下で、既存のロバスト回帰アルゴリズムの推定誤差レートと実行時間効率を向上させること。
• ノイズのある勾配オラクルとミョウラ包絡を用いた正則化により、ロバスト回帰における加速収束を達成すること。
• $\epsilon$ と条件数 $\kappa$ に強く依存するが、次元に依存しない統計的保証を提供すること。
• 滑らかさと正則性の仮定の下で、ロバスト勾配降下法が最適な $O(\sqrt{\kappa}\epsilon)$ の誤差レートに達成可能であることを示すこと。

提案手法

• 破損データの存在下で勾配を近似するために、ロバスト平均推定に基づくノイズのある勾配オラクルを用いる。
• 目的関数を滑らかにし、加速最適化を可能にするために、正則化されたミョウラ包絡を導入する。
• 正則化されたミョウラ包絡に対してネステロフ風の加速を適用し、標準的なロバスト勾配降下法よりも高速な収束を達成する。
• 主な要素として、$O(\text{poly}(\log n) \cdot d/\epsilon)$ のサンプル複雑度と、1回のクエリあたりほぼ線形時間の半径なしノイズのある勾配オラクルを用いる。
• ミョウラ包絡の滑らかさとリプシッツ性を活用し、勾配誤差伝播のバウンドを分析する。
• ロバストフィルタリングと反復的距離低減を組み合わせることで、真のパrameterからの誤差が $O(\sqrt{\kappa\epsilon/\mu})$ 以内の解に収束することを保証する。

実験結果

リサーチクエスチョン

• RQ1 敵対的破損の下で、ロバスト勾配降下法を最適収束レートに達成するように加速できるか？
• RQ2 強力な汚染下でのロバスト回帰において、統計的誤差と計算効率の最適なトレードオフは何か？
• RQ3 ミョウラ包絡を用いて、安定的かつ加速的な最適化フレームワークをロバスト回帰に構築できるか？
• RQ4 高次元かつ破損したデータ下で、低サンプル複雑度で効率的にノイズのある勾配オラクルを構築できるか？
• RQ5 滑らかさと正則性の仮定の下で、ロバスト回帰の達成可能な最良の推定誤差レートは何か？

主な発見

• 提案アルゴリズムは、高確率で統計的誤差 $O(\sqrt{\kappa\epsilon/\mu})$ を達成し、先行の非加速手法を上回る。
• アルゴリズムの実行時間は $O(\text{poly}(\log n) \cdot nd/\epsilon)$ であり、データセットサイズ $nd$ に対してほぼ線形の実行時間となる。
• ノイズのある勾配オラクルのサンプル複雑度は $O(\log(1/\delta\epsilon) \cdot d\log(d/\epsilon)/\epsilon)$ であり、主要項において次元に依存しない。
• ロバスト勾配降下法が滑らかで強く凸な最適化の理論的下界に一致するように加速可能であることが示された。
• 分析により、適切な条件下で最適解への二乗距離が反復ごとに $1 - \Omega(\epsilon)$ のレートで幾何的に減少することが分かった。
• 次元に依存しない誤差保証を達成しており、$\epsilon$ と条件数 $\kappa$ のみに依存するため、高次元設定に適している。