[論文レビュー] Restricted strong convexity and weighted matrix completion: Optimal bounds with noise

Sahand Negahban, Martin J. Wainwright|arXiv (Cornell University)|Sep 10, 2010

Sparse and Compressive Sensing Techniques参考文献 36被引用数 434

ひとこと要約

本稿は、ノイズのあるサンプリング下での重み付き行列補完に対して、制限付き強い凸性（RSC）を確立し、重み付きフロベニウスノルムにおける非漸近的誤差バウンドを証明する。データ適合項と重み付きノルムの組み合わせによるM-推定量を導入し、先行研究と比較してより緩いスパイク性および低ランク性の条件のもとで最適な回復レートを達成する。

ABSTRACT

We consider the matrix completion problem under a form of row/column weighted entrywise sampling, including the case of uniform entrywise sampling as a special case. We analyze the associated random observation operator, and prove that with high probability, it satisfies a form of restricted strong convexity with respect to weighted Frobenius norm. Using this property, we obtain as corollaries a number of error bounds on matrix completion in the weighted Frobenius norm under noisy sampling and for both exact and near low-rank matrices. Our results are based on measures of the "spikiness" and "low-rankness" of matrices that are less restrictive than the incoherence conditions imposed in previous work. Our technique involves an $M$-estimator that includes controls on both the rank and spikiness of the solution, and we establish non-asymptotic error bounds in weighted Frobenius norm for recovering matrices lying with $\ell_q$-"balls" of bounded spikiness. Using information-theoretic methods, we show that no algorithm can achieve better estimates (up to a logarithmic factor) over these same sets, showing that our conditions on matrices and associated rates are essentially optimal.

研究の動機と目的

• 重み付きでノイズのあるサンプリング下での行列補完問題に対して、制限付き強い凸性（RSC）条件を確立すること。
• ノイズありの低ランク行列回復における重み付きフロベニウスノルムでの非漸近的誤差バウンドを導出すること。
• 先行研究で用いられる非一様性条件を緩和するため、行列のスパイク性および低ランク性の測度を導入すること。
• 情報理論的下界を用いて、最小最大最適レートが対数因子を除いて達成されることを示すこと。
• 一様および非一様サンプリングの両方を統一的かつ一般化する結果を提示し、再重み付けされたノルム正則化を含むこと。

提案手法

• 重み付きフロベニウスノルムを定式化し、$\mathfrak{C}$ と表記される行列クラスを定義し、その中で $\ell_q$-スパイク性と低ランク構造が有界であることを仮定する。
• データ適合項と重み付きノルム正則化項を組み合わせたM-推定量を提案し、ランクとスパイク性を制御する。
• 確率的観測作用素が行列クラス $\mathfrak{C}$ 上で高確率で制限付き強い凸性（RSC）を満たすことを証明する。
• アールスヴァイ・ウィンターの不等式を含む行列集中不等式を用いて、ノイズ項の作用素ノルムを制御する。
• チェイングおよびシンメトライゼーションを用いて、ラデマッハ混沌過程の期待値上界を評価する。
• RSCおよび正則化項の分解可能性を用いて非漸近的誤差バウンドを導出し、最適レートに至る。

実験結果

リサーチクエスチョン

• RQ1 重み付き行列補完の確率的観測作用素は、高確率で制限付き強い凸性を満たすか？
• RQ2 ノイズありでほぼ低ランクの行列に対して、重み付きフロベニウスノルムにおける非漸近的誤差バウンドを導出できるか？
• RQ3 本稿で導入されたスパイク性および低ランク性の条件は、先行研究で用いられる非一様性条件よりも制限が緩いか？
• RQ4 提案手法は、ノイズありサンプリング下での行列補完において最小最大最適レートを達成できるか？
• RQ5 非一様サンプリング環境下で、重み付きノルム正則化推定量の性能は、標準的なノルム正則化と比べてどのように異なるか？

主な発見

• 確率的観測作用素は、行列クラス $\mathfrak{C}$ 上で高確率で制限付き強い凸性を満たし、タイトな誤差バウンドを可能にする。
• 提案されたM-推定量は、ノイズ下で重み付きフロベニウスノルムにおいて $\mathcal{O}\big(\sqrt{\frac{d \log d}{n}}\big)$ のオーダーの誤差バウンドを達成する。
• 情報理論的下界により、誤差バウンドが対数因子を除いて最小最大最適であることが確認された。
• $\ell_q$-スパイク性および低ランク性の測度を用いることで、非一様性仮定を緩和でき、より制限が緩い。
• 誤差バウンドは一様および非一様サンプリングの両方で成り立ち、再重み付けされたノルム正則化が特殊ケースとして含まれる。
• ノイズ項の期待作用素ノルムのバウンドは $\mathbb{E}[\|\frac{1}{n}\sum \varepsilon_i \widetilde{X}^{(i)}\|_2] \leq 10 \max\big\{\sqrt{\frac{L d \log d}{n}}, \frac{L d \log d}{n}\big\}$ であり、これが最終的な誤差レートの導出に用いられる。