[論文レビュー] Computationally Efficient Robust Estimation of Sparse Functionals

Simon S. Du, Sivaraman Balakrishnan+1 more|arXiv (Cornell University)|Feb 24, 2017

Statistical Methods and Inference参考文献 16被引用数 10

ひとこと要約

本稿では、$\epsilon$-contaminationモデル下での高次元設定におけるスパース機能的推定のための計算的に効率的で頑健なアルゴリズムを提案する。決定論的条件を確立することで、正確な回復を保証し、最適な統計的レートを達成する。この手法は、スパース平均、共分散、線形回帰、一般化線形モデルに広く適用可能であり、スパarsity仮定の下で高確率保証を有する。

ABSTRACT

Many conventional statistical procedures are extremely sensitive to seemingly minor deviations from modeling assumptions. This problem is exacerbated in modern high-dimensional settings, where the problem dimension can grow with and possibly exceed the sample size. We consider the problem of robust estimation of sparse functionals, and provide a computationally and statistically efficient algorithm in the high-dimensional setting. Our theory identifies a unified set of deterministic conditions under which our algorithm guarantees accurate recovery. By further establishing that these deterministic conditions hold with high-probability for a wide range of statistical models, our theory applies to many problems of considerable interest including sparse mean and covariance estimation; sparse linear regression; and sparse generalized linear models.

研究の動機と目的

• 汚染下での高次元スパース機能的推定に、計算的に効率的で統計的に頑健な推定器が不足しているという問題に取り組む。
• 平均、共分散、回帰係数などの多様なスパース機能的推定を、統一されたフレームワークで統合する。
• $n \ll d$ の場合でも、多項式時間での回復が可能であることを保証する決定論的条件を確立する。
• これらの条件が、スパース線形回帰やGLMなどの広範な統計的モデルにおいて高確率で成立することを示す。
• 高次元における頑健な推定を実現するための、凸緩和と切断処理の新規技術を開発する。

提案手法

• 本手法は、$C\epsilon$-contamination下でのスパース機能的推定の正確な回復を保証する決定論的条件に基づく統一フレームワークを導入する。
• 多項式時間で解けるように、頑健な推定問題の凸緩和を採用する。
• 重要な要素として、データに依存するしきい値を用いて高レバレッジの外れ値を除去する、切断に基づく前処理ステップを実装する。
• 単位球面上の$1/3$-ネットとサブセット選択を用いて、スパースサポート全体にわたる一様収束を制御する。
• ロジスティック型モデルの場合、$\|yx\|_2$の値が大きいサンプルを除去するためのプルーニングルールを適用し、有界性と集中性を確保する。
• 理論的分析には、ガウス変数のリプシッツ関数に対する集中不等式と、スパース集合への和集合補題を用いる。

実験結果

リサーチクエスチョン

• RQ1 1つの計算的に効率的なアルゴリズムが、高次元設定下で多様なスパース機能的推定を頑健に実行できるか？
• RQ2 汚染下でのスパース機能的推定の正確な回復を保証する決定論的条件は何か？
• RQ3 これらの条件が、スパース線形回帰やGLMなどの高次元モデルにおいて高確率で成立するか？
• RQ4 アルゴリズムの性能は、汚染度$\epsilon$とスパarsity $s$ にどのように依存するか？
• RQ5 新規の切断処理と凸緩和技術が、最適な統計的レートを達成しながら計算的に実行可能か？

主な発見

• 提案手法は、最適な汚染依存性$O(\epsilon)$を達成し、スパース高次元モデルにおけるミニマックス下界と一致する統計的レートを実現する。
• スパース平均および共分散推定において、高確率で真のパラメータを$O(\epsilon \|\beta\|_2^2)$の誤差内に回復する。
• スパース線形回帰において、推定誤差は$O(\epsilon \|\beta\|_2^2)$に比例し、$\|\beta\|_2^2$への依存がレートを決定する。
• 一般化線形モデルでは、プルーニングルールにより有界性と集中性を確保し、標準的なGLMと比較してより優れた尾部確率の境界を達成する。
• 本フレームワークは、スパース平均、共分散、線形回帰、GLMに一様に適用可能であり、これらのモデル間での頑健な推定を統一する。
• 凸緩和と慎重な切断処理を用いた理論的保証が確立され、リプシッツ関数の集中とネットの議論を用いて集中結果を導出する。