[論文レビュー] Nuclear norm penalization and optimal rates for noisy low rank matrix completion

Vladimir Koltchinskii, Alexandre B. Tsybakov+1 more|arXiv (Cornell University)|Nov 29, 2010

Sparse and Compressive Sensing Techniques参考文献 32被引用数 637

ひとこと要約

本稿では、ノイズのある観測下における低ランク行列補完のための核ノルム正則化推定量を提案し、期待値における等長性の下で鋭いオракル不等式を確立する。これは、$ m_1m_2 \gg n $ である高次元設定ですら、対数要因を除いて最適な収束速度を達成し、高い確率で真のランクを正確に回復することを示している。

ABSTRACT

This paper deals with the trace regression model where $n$ entries or linear combinations of entries of an unknown $m_1\ imes m_2$ matrix $A_0$ corrupted by noise are observed. We propose a new nuclear norm penalized estimator of $A_0$ and establish a general sharp oracle inequality for this estimator for arbitrary values of $n,m_1,m_2$ under the condition of isometry in expectation. Then this method is applied to the matrix completion problem. In this case, the estimator admits a simple explicit form and we prove that it satisfies oracle inequalities with faster rates of convergence than in the previous works. They are valid, in particular, in the high-dimensional setting $m_1m_2\\gg n$. We show that the obtained rates are optimal up to logarithmic factors in a minimax sense and also derive, for any fixed matrix $A_0$, a non-minimax lower bound on the rate of convergence of our estimator, which coincides with the upper bound up to a constant factor. Finally, we show that our procedure provides an exact recovery of the rank of $A_0$ with probability close to 1. We also discuss the statistical learning setting where there is no underlying model determined by $A_0$ and the aim is to find the best trace regression model approximating the data.

研究の動機と目的

• 高次元設定（$ m_1m_2 \gg n $）において、ノイズのある不完全な観測から低ランク行列を推定する課題に対処すること。
• ノイズのある低ランク行列補完に対して最適な収束速度を達成する核ノルム正則化推定量の開発。
• 期待値における一般的な等長性条件下で、推定量の鋭いオラクル不等式の確立。
• 高い確率で、元の行列の真のランクを回復できることの証明。
• 元のモデルが仮定されない統計的学習設定への分析の拡張を行い、制限固有値条件の下でラッソ推定量のオラクル不等式を導出すること。

提案手法

• ランダムな設計行列を伴うトレース回帰モデルに対する核ノルム正則化推定量を提案し、核ノルムで正則化された損失関数を最小化する。
• 設計行列が期待値における等長性を満たす条件（すなわち、$ \|A\|_{L_2(\Pi)}^2 \approx \|A\|_2^2 $）の下で、一般な鋭いオラクル不等式を導出する。
• 一般結果を、設計行列が正規直交基底を形成する一様無作為抽出（USR）の行列補完モデルに特化する。
• 非可換ベルヌーイ不等式を用いて、経験プロセスの乖離を制御し、推定誤差の高確率バウンドを可能にする。
• 推定誤差の2項分解（ノイズ項とトレース回帰モデルに起因するバイアス項）を用いる。
• ノイズの尾部がサブガウス型およびサブエキスポネンシャル型であると仮定し、経験プロセスの作用素ノルムのバウンドを確立する。

実験結果

リサーチクエスチョン

• RQ1 核ノルム正則化推定量は、高次元設定下でノイズのある低ランク行列補完において、最適な収束速度を達成できるか？
• RQ2 核ノルム推定量の正確な収束速度は何か？ また、それ以前の結果と比較してどうなるか？
• RQ3 どのような条件下で、推定量は高い確率で真のランクを回復するか？
• RQ4 期待値における等長性の下で、核ノルム推定量に対して鋭いオラクル不等式を確立できるか？
• RQ5 制限固有値条件は、標準ラッソ推定量がベクトル回帰において鋭いオラクル不等式を満たすことを示唆するか？

主な発見

• 核ノルム正則化推定量は、ノイズのある低ランク行列補完において、ミニマックスの意味で対数要因を除いて最適な収束速度を達成する。
• 推定量は、先行研究の収束速度が遅い結果を改善し、リーディング定数が1の鋭いオラクル不等式を満たす。
• 高次元的状況 $ m_1m_2 \gg n $ においても、行列が低ランクであっても、高速な収束速度を維持する。
• ノイズおよび設計に関するやや弱い条件下で、推定量は $ A_0 $ の真のランクを確率1に近い確率で回復する。
• サブエキスポネンシャルノイズの下では、推定量の誤差バウンドは $ \sigma \max\left\{ \sqrt{\frac{t + \log m}{(m_1 \wedge m_2)n}}, \frac{(t + \log m)\log^{1/\alpha}(m_1 \wedge m_2)}{n} \right\} $ と表され、対数要因を除いて最適なレートと一致する。
• 制限固有値条件の下で、標準ラッソ推定量はリーディング定数が1の鋭いオラクル不等式を満たす。これは副次的な結果として得られた。