[論文レビュー] A Shrinkage Principle for Heavy-Tailed Data: High-Dimensional Robust Low-Rank Matrix Recovery

Jianqing Fan, Weichen Wang+1 more|arXiv (Cornell University)|Mar 28, 2016

Sparse and Compressive Sensing Techniques参考文献 53被引用数 34

ひとこと要約

本稿では、2階または4階のモーメントが有界であるだけの重たい尾を持つノイズ下でも、高次元的かつ低ランクな行列回復を可能にするための縮小原理を導入する。観測データを罰則付き最小二乗法に適用する前に打ち切りまたは縮小することで、サブガウス型の設定と同等の最適な統計的誤差率を達成する。これは、誤差項や設計行列が有限のモーメントしか持たない場合でも成立し、高次元的推論手法の適用範囲を著しく拡大する。

ABSTRACT

This paper introduces a simple principle for robust high-dimensional statistical inference via an appropriate shrinkage on the data. This widens the scope of high-dimensional techniques, reducing the moment conditions from sub-exponential or sub-Gaussian distributions to merely bounded second or fourth moment. As an illustration of this principle, we focus on robust estimation of the low-rank matrix $Θ^*$ from the trace regression model $Y=Tr (Θ^{*T}X) +ε$. It encompasses four popular problems: sparse linear models, compressed sensing, matrix completion and multi-task regression. We propose to apply penalized least-squares approach to appropriately truncated or shrunk data. Under only bounded $2+δ$ moment condition on the response, the proposed robust methodology yields an estimator that possesses the same statistical error rates as previous literature with sub-Gaussian errors. For sparse linear models and multi-tasking regression, we further allow the design to have only bounded fourth moment and obtain the same statistical rates, again, by appropriate shrinkage of the design matrix. As a byproduct, we give a robust covariance matrix estimator and establish its concentration inequality in terms of the spectral norm when the random samples have only bounded fourth moment. Extensive simulations have been carried out to support our theories.

研究の動機と目的

• 重たい尾を持つ分布を示すデータに対して、高次元的低ランク行列回復のためのロバストな統計的枠組みを構築すること。
• 高次元的推論に必要なモーメント仮定を、サブガウス的またはサブ指数的仮定から、単に2階または4階のモーメントが有界であるという弱い仮定にまで緩和すること。
• トレース回帰モデルの適用範囲を、重たい尾を持つノイズや、最小限のモーメント条件での設計行列を含むように拡張すること。
• データの縮小を用いる統一的なアプローチを提供し、弱いモーメント条件の下で最適な統計的誤差率を達成すること。
• 4階モーメントが有界である条件下で、集中性の優れたロバストな共分散推定器を確立すること。

提案手法

• 推定の前段階として、応答変数および設計変数に対してデータの縮小または打ち切り手順を提案する。
• 縮小または打ち切り済みのデータに対して罰則付き最小二乗回帰を適用し、低ランク係数行列を推定する。
• 最適化問題を解くために、プリムアル・デュアル分割法（例：収縮的PRSM）を用い、特異値のソフトしきい値処理を実行する。
• 重たい尾を持つ分布下でも集中性が向上する、縮小に基づくサンプル共分散推定器を導入する。
• 大きな逸脱を軽減するロバストな損失関数を採用し、外れ値や重たい尾に対する耐性を高める。
• 理論的誤差バウンドを導出し、2+δ階または4階モーメントが有界である条件下でも、サブガウス的手法と同等の統計的レートを達成できることを示す。

実験結果

リサーチクエスチョン

• RQ1 2階モーメントが有界であるだけの重たい尾を持つノイズに対しても、高次元的低ランク行列回復がロバストに可能か？
• RQ2 設計行列が4階モーメントしか持たない場合でも、最適な統計的レートを維持できるか？
• RQ3 データの縮小が、弱いモーメント仮定の下でトレース回帰モデルにおいて最適な誤差率を達成可能か？
• RQ4 4階モーメントが有界である条件下で、集中性を維持するロバストな共分散推定器を構築可能か？
• RQ5 重たい尾を持つノイズ下の有限標本において、縮小に基づく手法は標準的手法と比べてどのように性能を発揮するか？

主な発見

• 提案された縮小手法は、ノイズが2+δ階モーメントしか持たない場合でも、サブガウス的手法と同等の統計的誤差率を達成する。
• スパース線形モデルおよびマルチタスク回帰において、設計行列が4階モーメントしか持たない場合でも、設計の縮小により最適なレートを維持する。
• 縮小に基づく共分散推定器は、4階モーメントが有界である条件下で、スペクトルノルムにおいて安定した集中性を示すが、標準的サンプル共分散とは異なり、そのような集中性は欠如している。
• シミュレーションにより、対数正規分布および切断カイ二乗分布ノイズ下では、標準的手法よりも著しく優れた性能を示す一方、ガウス分布ノイズ下では同様の性能を達成する。
• 次元が高くなるほど、縮小推定器は統計的誤差をより効果的に低減する。特に重たい尾を持つ分布下で顕著である。
• 本手法は、サンプルサイズや次元が変化しても一貫した性能を示し、重たい尾を持つデータ下でも誤差の安定性を維持する。