[論文レビュー] Robust Low-Rank Matrix Recovery

Jianqing Fan, Weichen Wang+1 more|arXiv (Cornell University)|Mar 28, 2016

Sparse and Compressive Sensing Techniques参考文献 15被引用数 5

ひとこと要約

本稿では、二乗損失の代わりに打ち切りまたは縮小されたロバスト損失を用いることで、重い尾を持つノイズ下での低ランク行列回復のためのロバストな罰則付きトレース回帰法を提案する。ノイズに2+δ次のモーメントが有界であるという唯一の条件下でも、従来の部分ガウス分布のノイズ下での研究と同等の最適収束速度を達成し、明示的な収束速度と新たなロバスト共分散推定量が副次的に得られる。

ABSTRACT

This paper focuses on robust estimation of the low-rank matrix $\Theta^*$ from the trace regression model $Y= ext{Tr} (\Theta^{*T} X) +\epsilon$. It encompasses four popular problems: sparse linear models, compressive sensing, matrix completion and multi-task regression as its specific examples. Instead of optimizing penalized least-squares, our robust penalized least-squares approach is to replace the quadratic loss by its robust version, which is obtained by the appropriate truncations or shrinkage of the data and hence is very easy to implement. Under only bounded $2+\delta$ moment condition on the noise, we show that the proposed robust penalized trace regression yields an estimator that possesses the same rates as those presented in Negahban and Wainwright (2011, 2012a) with sub-Gaussian error assumption. The rates of convergence are explicitly derived. As a byproduct, we also give a robust covariance matrix estimator called the shrinkage sample covariance and establish its concentration inequality in terms of the spectral norm when the random sample has only bounded fourth moment.

研究の動機と目的

• ノイズ分布が部分ガウス的尾を持たない、有界モーメントしか持たない場合の低ランク行列回復の挑戦に応えること。
• トレース回帰モデルにおける低ランク行列の推定のため、計算が単純でありながら統計的にロバストな手法を開発すること。
• 実世界のデータに重い尾や汚染された誤差が存在する状況においても、低ランク回復の適用範囲を拡大すること。
• 最小限のモーメント仮定の下で、提案されたロバスト推定量の明示的な収束速度を導出すること。
• 有界な4次のモーメント下で、濃縮不等式を確立できるロバストな縮小標本共分散推定量を導入すること。

提案手法

• 標準的な罰則付きトレース回帰における二乗損失を、データの打ち切りまたは縮小によってロバスト化した損失関数に置き換えることで、重い尾を持つ誤差への感受性を低減する。
• 観測されたトレース回帰データから低ランク行列 $ heta^*$ を推定するために、ロバスト損失関数を用いた罰則付き最適化フレームワークを適用する。
• 外れ値や重い尾を持つノイズの影響を制御するため、応答変数 $Y$ の打ち切りまたは縮小を実施する。
• ノイズに有界な $2+\delta$ 次モーメント条件が成り立つ場合の理論的収束速度を導出するが、部分ガウス的尾の仮定は不要である。
• 重い尾を持つ分布に対してロバストである、縮小に基づく標本共分散推定量を導入する。
• 有界な4次のモーメント下で、ロバスト共分散推定量のスペクトルノルムの濃縮不等式を確立する。

実験結果

リサーチクエスチョン

• RQ1 重い尾を持つノイズに対して、部分ガウス的誤差分布の仮定なしに低ランク行列回復をロバスト化できるか？
• RQ2 ノイズに有界な $2+\delta$ 次モーメント条件が成り立つ場合、ロバストな低ランク推定量の最適収束速度は何か？
• RQ3 標準的最小二乗法と比較して、提案されたロバスト損失関数は統計的効率性およびロバスティシティの点でどのように異なるか？
• RQ4 有界な4次モーメント下でも濃縮性を保つロバストな共分散推定量を構築できるか？
• RQ5 弱いモーメント仮定下でも、ロバストなトレース回帰推定量は、部分ガウス的結果と同等の収束速度を達成できるか？

主な発見

• 提案されたロバストな罰則付きトレース回帰推定量は、ノイズに有界な $2+\delta$ 次モーメント条件が成り立つ場合でも、NegahbanとWainwright（2011, 2012a）の結果と同等の最適収束速度を達成する。
• 収束速度は明示的に導出され、与えられたモーメント仮定下で最適であることが示された。
• 打ち切りまたはデータの縮小に基づくロバスト損失関数により、重い尾を持つ誤差が存在する状況でも安定的かつ効率的な推定が可能である。
• 新たなロバスト共分散推定量「縮小標本共分散」が提案され、有界な4次モーメント下でスペクトルノルムに濃縮することが示された。
• ロバスト共分散推定量の濃縮不等式は、最小限のモーメント条件下で確立され、古典的結果を重い尾の設定に拡張した。
• 本手法は計算が単純で、実装が容易であり、圧縮センシング、行列補完、マルチタスク回帰などの実用的応用に適している。