[論文レビュー] Optimal Robust Linear Regression in Nearly Linear Time

Yeshwanth Cherapanamjeri, Efe Aras+4 more|arXiv (Cornell University)|Jul 16, 2020

Machine Learning and Algorithms参考文献 29被引用数 13

ひとこと要約

この論文は、凸双対性と半定値計画法（SDP）緩和を活用することで、最適なロバスト線形回帰のほぼ線形時間アルゴリズムを提示する。重ねた分布における2次形式の重み付き和に対する高確率境界を確立し、新しいガウスラウンディング手法によりランク1行列および一般の正定値行列を扱うことを示し、ロバスト推定における最適な標本サイズ ~O(d/η) を達成するにあたり、重要な定数分散境界を実現する。

ABSTRACT

We study the problem of high-dimensional robust linear regression where a learner is given access to $n$ samples from the generative model $Y = \langle X,w^* angle + ε$ (with $X \in \mathbb{R}^d$ and $ε$ independent), in which an $η$ fraction of the samples have been adversarially corrupted. We propose estimators for this problem under two settings: (i) $X$ is L4-L2 hypercontractive, $\mathbb{E} [XX^ op]$ has bounded condition number and $ε$ has bounded variance and (ii) $X$ is sub-Gaussian with identity second moment and $ε$ is sub-Gaussian. In both settings, our estimators: (a) Achieve optimal sample complexities and recovery guarantees up to log factors and (b) Run in near linear time ($ ilde{O}(nd / η^6)$). Prior to our work, polynomial time algorithms achieving near optimal sample complexities were only known in the setting where $X$ is Gaussian with identity covariance and $ε$ is Gaussian, and no linear time estimators were known for robust linear regression in any setting. Our estimators and their analysis leverage recent developments in the construction of faster algorithms for robust mean estimation to improve runtimes, and refined concentration of measure arguments alongside Gaussian rounding techniques to improve statistical sample complexities.

研究の動機と目的

• 重ねた分布下での計算的に効率的な最適ロバスト線形回帰アルゴリズムの開発。
• 高次元回帰における統計的ロバスト性と計算効率のギャップの解消。
• 新しいラウンディング技術を用いてランク1行列解析を一般の正定値行列に拡張。
• ロバスト推定における高確率的最適標本サイズ ~O(d/η) の達成。
• グリッド近似と和集合不等式を用いて、すべての単位ベクトルおよび正規化されたPSD行列に対して一様な集中境界の確立。

提案手法

• 最適解がランク1行列に位置することを考慮しても、凸双対性を適用できるように、ロバスト回帰問題を半定値計画法（SDP）に昇格。
• 単位ベクトル (u,v) の細かいグリッドを用いて近似誤差を一様に制御し、グリッド上での和集合不等式を適用。
• ランク1行列 M = vv⊤ の場合、u や v と強く相関する項を避けるために重み αi を構築し、和が有界になるように保証。
• 任意の正規化されたPSD行列 M に対して、Tr(M) = 1 を満たすように、ガウスラウンディング手法を導入し、ランク1から一般の行列への一般化を実現。
• イベント |⟨Xi, u⟩| ≤ 40/η および ⟨XiXi⊤, M⟩ ≤ 400²/η の同時発生下での ⟨Xi, u⟩²⟨XiXi⊤, M⟩ およびインジケータ関数に対する一様集中境界を確立。
• 2段階のサンプリング戦略を採用：まず、非ゼロ項に顕著な損失を伴わず、相関の強い項を除外；次に、残りの項に注目し、重複を制御。

実験結果

リサーチクエスチョン

• RQ1 重ねた分布下でも最適な統計的保証を維持しながら、ロバスト線形回帰をほぼ線形時間で計算可能か？
• RQ2 最適解が低ランク部分空間にあるにもかかわらず、SDPに昇格させた場合に凸双対性をどのように適用できるか？
• RQ3 ロバスト回帰において、すべての単位ベクトルおよびPSD行列に対して一様集中を達成するために必要な最小標本サイズは何か？
• RQ4 ガウスラウンディング手法を一般化することで、O(1/η²)の境界ではなく、定数分散境界を任意のPSD行列Mの方向に達成できるか？
• RQ5 グリッド近似と和集合不等式を用いて、すべての (u, M) 組に対して一様な境界を達成するが、指数的コストを伴わずに行えるか？

主な発見

• 分布 D からの n = ~O(d/η) 個の標本に対して、|⟨Xi, u⟩|, |⟨Xi, v⟩| ≤ 800/η の領域における ⟨Xi, u⟩²⟨Xi, v⟩² の期待値の和は、絶対定数 C4 で有界である。
• |⟨Xi, u⟩| ≤ 40/η および |⟨Xi, v⟩| ≤ 40/η を満たす標本の割合は、高確率で 1 - η/100 以上である。
• 重み付き和の境界は、Tr(M) = 1 を満たす一般の正規化されたPSD行列 M に対しても拡張可能であり、E[n][⟨Xi, u⟩²⟨XiXi⊤, M⟩1{...}] ≤ C6 を満たす絶対定数 C6 が存在する。
• イベント |⟨Xi, u⟩| ≤ 40/η および ⟨XiXi⊤, M⟩ ≤ 400²/η のインジケータ関数の期待値は、1 - η/25 以上である。
• ガウスラウンディング手法により、O(1/η²) の境界ではなく定数分散境界を達成することができ、M の方向におけるきめ細やかな制御が可能となった。
• 最終的な結果として、ロバスト回帰推定量が高次元において高確率で最適な標本サイズと統計的効率性を達成することが保証された。