[論文レビュー] Robust estimation via generalized quasi-gradients

Banghua Zhu, Jiantao Jiao+1 more|arXiv (Cornell University)|May 28, 2020

Sparse and Compressive Sensing Techniques参考文献 35被引用数 15

ひとこと要約

この論文は、有界分散下での平均推定、線形回帰、および同時平均・分散推定といった非凸なロバスト推定問題がなぜ効率的に解けるかを説明するために一般化された準勾配を導入する。特定の条件下では、任意の一次の停留点が近似的なグローバル最小値であることを証明し、最適な破壊点（最大1/2）と改善された誤差率（特に超合同性下での線形回帰ではO(ε)）を達成する効率的なアルゴリズムを可能にする。

ABSTRACT

We explore why many recently proposed robust estimation problems are efficiently solvable, even though the underlying optimization problems are non-convex. We study the loss landscape of these robust estimation problems, and identify the existence of "generalized quasi-gradients". Whenever these quasi-gradients exist, a large family of low-regret algorithms are guaranteed to approximate the global minimum; this includes the commonly-used filtering algorithm. For robust mean estimation of distributions under bounded covariance, we show that any first-order stationary point of the associated optimization problem is an {approximate global minimum} if and only if the corruption level $ε< 1/3$. Consequently, any optimization algorithm that aproaches a stationary point yields an efficient robust estimator with breakdown point $1/3$. With careful initialization and step size, we improve this to $1/2$, which is optimal. For other tasks, including linear regression and joint mean and covariance estimation, the loss landscape is more rugged: there are stationary points arbitrarily far from the global minimum. Nevertheless, we show that generalized quasi-gradients exist and construct efficient algorithms. These algorithms are simpler than previous ones in the literature, and for linear regression we improve the estimation error from $O(\sqrtε)$ to the optimal rate of $O(ε)$ for small $ε$ assuming certified hypercontractivity. For mean estimation with near-identity covariance, we show that a simple gradient descent algorithm achieves breakdown point $1/3$ and iteration complexity $ ilde{O}(d/ε^2)$.

研究の動機と目的

• 非凸最適化の下でのロバスト推定問題が、見かけの計算困難さにもかかわらずなぜ効率的に解けるのかを説明すること。
• 効率的な最適化を可能にする損失関数の構造的性質（特に一般化された準勾配の存在）を同定すること。
• ロバスト平均推定、線形回帰、および同時平均・分散推定のための、収束性と誤差率が改善された、より単純なアルゴリズムを開発すること。
• 最適な破壊点（最大1/2）と改善された推定誤差率（特に超合同性下での線形回帰ではO(ε)）を達成すること。
• 複数の統計的タスクにわたる一般化された準勾配の概念を活用することで、既存のロバスト推定アルゴリズムを統一的かつ一般化すること。

提案手法

• 損失関数の構造的性質として一般化された準勾配を導入し、近似的なグローバル最小値への収束を保証する。
• 有界分散下でのロバスト平均推定において、汚染度ε < 1/3の下で、任意の一次の停留点が近似的なグローバル最小値であることを証明し、適切な初期化により破壊点を1/2まで向上させることを示す。
• 一般化された準勾配を用いて明示的な低レジリエンス型およびフィルタベースのアルゴリズムを設計し、従来の手法よりも単純で、最適または近似的に最適な誤差率を達成する。
• 超合同性下での線形回帰にこの枠組みを適用し、O(ε)の推定誤差率（従来のO(√ε)から改善）を達成するとともに、効率的なアルゴリズムを用いた同時平均・分散推定を実現する。
• 慎重な初期化とステップサイズの選択による勾配降下法を用い、近似的に単位行列に近い分散を持つ平均推定において破壊点1/3と反復複雑度˜O(d/ε²)を達成する。
• ロバスト推定問題をε削除済み分布上の可解性問題として定式化し、一般化された準勾配が一次の手法による良い解への収束を可能にすることを示す。

実験結果

リサーチクエスチョン

• RQ1 多くの非凸なロバスト推定問題が、見かけの計算困難さにもかかわらず実際にはなぜ効率的に解けるのか？
• RQ2 損失関数の構造的性質（一般化された準勾配の存在）が、近似的なグローバル最小値への収束を保証するにはどのような条件下が必要か？
• RQ3 一般化された準勾配と適切なアルゴリズム設計を用いて、破壊点を1/3を超えて向上させることは可能か？
• RQ4 線形回帰および同時平均・分散推定に対して、一般化された準勾配を構築し、効率的かつ低レジリエンス型のアルゴリズムを可能にすることができるか？
• RQ5 超合同性下での線形回帰における最適な推定誤差率は何か？ そして、一次の手法によってその誤差率を達成できるか？

主な発見

• 有界分散下でのロバスト平均推定において、ε < 1/3の下で、任意の一次の停留点が近似的なグローバル最小値である。適切な初期化により破壊点は1/2に達し、これは最適である。
• 認証された超合同性下での線形回帰において、提案されたアルゴリズムは最適なO(ε)の推定誤差率を達成し、従来のO(√ε)の誤差率を改善する。
• 近似的に単位行列に近い分散を持つ平均推定に対して、単純な勾配降下法が破壊点1/3と反復複雑度˜O(d/ε²)を達成する。
• 一般化された準勾配の枠組みにより、従来の研究よりも単純で効率的なアルゴリズムを、同時平均・分散推定のための設計に可能にする。
• 一般化された準勾配に基づくフィルタリングアルゴリズムは、任意に小さな分散歪み（ε → 0のときC(ε) → 1）を達成できないが、目的関数の再定式化によりこの制限を克服できる。
• 提案されたアルゴリズムは、従来の研究よりも優れた反復複雑度を達成する：サブガウス分布では、複雑度O(d/τ²)（τ = Ω(ε log(1/ε))）であり、従来のO(nd³/ε)よりも顕著に改善されている。