[論文レビュー] High dimensional robust M-estimation : arbitrary corruption and heavy tails

Liu Liu|arXiv (Cornell University)|Jul 6, 2021

Sparse and Compressive Sensing Techniques参考文献 80被引用数 7

ひとこと要約

本稿は、4次のモーメントが有界な重い尾を持つ分布および任意の汚染に対して頑健な勾配降下フレームワークを提案し、統計的レートを最小最大最適化し、計算効率を達成する。この手法により、サブガウス性の仮定を必要とせず、スパース回帰、ガウス graphical モデリング、低ランク行列回復を正確に実行可能である。

ABSTRACT

We consider the problem of constrained M-estimation when both explanatory and response variables have heavy tails (bounded 4-th moments), or a fraction of arbitrary corruptions. We focus on the high-dimensional regime where the underlying parameter has a low-dimensional constraint, such as sparsity or low rankness. Modeling with sparsity of low rank constraint in high dimensions is NP-hard in the worst case. Thus theoretical recovery guarantees for most computationally tractable approaches rely on strong assumptions on the probabilistic models of the data, such as sub-Gaussianity. Under such assumptions, existing approaches achieve the minimax optimal recovery guarantees. But heavy-tails and arbitrary corruptions in the data violate the assumptions required for convergence of the usual algorithms. This thesis tackles these challenges for a few statistical learning problems: robust sparse regression, robust Gaussian graphical model estimation and robust low rank matrix recovery. We provide a novel robust gradient descent approach for these problems in a high dimensional regime and we present optimal statistical guarantees and computational efficient algorithms under the heavy-tails and arbitrary corruptions. We demonstrate the effectiveness of our approach in sparse linear, logistic regression, sparse precision matrix estimation and low rank matrix recovery on synthetic and real-world data.

研究の動機と目的

• データに重い尾を持つ分布（4次モーメントが有界）または任意の汚染が存在する場合の高次元M推定の課題に対処する。
• サブガウス性などの強い確率的仮定に依存する既存手法の限界を克服する。
• スパarsityまたは低ランク制約付きの高次元設定において、最小最大最適な統計的レートを達成する計算効率の良いアルゴリズムを開発する。
• 弱いモーメント条件の下で、スパース線形回帰、精度行列推定、低ランク行列回復における頑健な回復の理論的保証を提供する。

提案手法

• 高次元M推定において重い尾や汚染されたデータを扱えるように設計された新規の頑健な勾配降下アルゴリズムを導入する。
• 外れ値や重い尾を持つノイズの影響を軽減するために、打ち切り済みの経験的リスク最小化を活用する。
• M推定フレームワーク内での正則化を用いて、スパarsityや低ランク性などの構造的制約を組み込む。
• 高次のモーメントを制限することで、重い尾や敵対的汚染に対して感度の低い頑健な勾配推定器を組み込む。
• 限られたサンプル数の高次元設定における収束を改善するために、分散低減技術を適用する。
• 1イテレーションあたりの計算量が高次元にスケーラブルであるように、反復最適化を用いて計算効率を確保する。

実験結果

リサーチクエスチョン

• RQ1 サブガウス性の仮定なしに、4次モーメントが有界であるだけの条件下で、頑健なM推定が最小最大最適な統計的レートを達成できるか？
• RQ2 任意の汚染下での高次元スパースまたは低ランク推定において、計算効率をどのように維持できるか？
• RQ3 一様な頑健な勾配降下フレームワークを、回帰や共分散推定を含む複数の高次元学習問題に適用可能か？
• RQ4 重い尾や汚染されたデータ下でのスパースおよび低ランクモデルに対して、推定誤差と収束速度の理論的保証は何か？
• RQ5 実世界および合成データの設定において、本手法は既存の手法と比較して、頑健性と統計的効率性の面で優れているか？

主な発見

• 提案された頑健な勾配降下法は、4次モーメントが有界であるだけの条件下でも、高次元M推定において最小最大最適な統計的レートを達成する。
• 本アルゴリズムは、スパarsityや低ランク制約付きの高次元設定でも計算効率を維持する。
• スパース線形回帰およびロジスティック回帰、精度行列推定、低ランク行列回復のための理論的保証が確立された。
• 合成データおよび実世界データにおける実験結果から、重い尾や汚染されたデータ下でもベースライン手法を上回る性能を示した。
• サブガウス性の仮定から逸脱するデータにおいて、推定精度と頑健性の面で、標準的なM推定器を上回った。