[論文レビュー] Optimal spectral norm rates for noisy low-rank matrix completion

Karim Lounici|arXiv (Cornell University)|Oct 24, 2011

Sparse and Compressive Sensing Techniques参考文献 18被引用数 3

ひとこと要約

この論文は、サンプリング分布の一般な非一様性条件の下で、核ノルム正則化推定量を用いたノイズ付き低ランク行列補完の最適スペクトルノルムレートを確立し、鋭いオракル不等式と最小最大最適性（対数要因を除いて）を証明する。この手法は、従来の均一サンプリング仮定を排除することで、非一様サンプリングを伴う高次元設定でも最適な回復を可能にする。

ABSTRACT

In this paper we consider the trace regression model where $n$ entries or linear combinations of entries of an unknown $m_1 imes m_2$ matrix $A_0$ corrupted by noise are observed. We establish for the nuclear-norm penalized estimator of $A_0$ introduced in \cite{KLT} a general sharp oracle inequality with the spectral norm for arbitrary values of $n,m_1,m_2$ under an incoherence condition on the sampling distribution $Π$ of the observed entries. Then, we apply this method to the matrix completion problem. In this case, we prove that it satisfies an optimal oracle inequality for the spectral norm, thus improving upon the only existing result \cite{KLT} concerning the spectral norm, which assumes that the sampling distribution is uniform. Note that our result is valid, in particular, in the high-dimensional setting $m_1m_2\gg n$. Finally we show that the obtained rate is optimal up to logarithmic factors in a minimax sense.

研究の動機と目的

• 一般のサンプリング分布の下で、トレース回帰モデルにおける核ノルム正則化推定量の鋭いオラクル不等式を確立すること。
• 実世界の応用（例：Netflix問題）で一般的な非均一サンプリングスキームにまで、既存の行列補完結果を拡張すること。
• 推定量のスペクトルノルムレートが、最小最大意味で対数要因を除いて最適であることを証明すること。
• 特に[13]で用いられていた均一サンプリング仮定を排除しつつ、最適な推定性能を維持すること。

提案手法

• 論文は[13]で導入された核ノルム正則化推定量を分析し、経験的リスクと核ノルム正則化の和を最小化するものとして定義する。
• サンプリング分布 $ \Pi $ に対する非一様性条件の下で、任意の $ n, m_1, m_2 $ に対して、スペクトルノルムにおける一般な鋭いオラクル不等式を導出する。
• 非可換 Bernstein 不等式と、指数型およびガウス型ノイズのモーメントバウンドを用いて、経験プロセスの乖離を制御する。
• 非均一サンプリングを伴う行列補完問題にこの推定量を適用し、スペクトルノルム誤差レートが対数要因を除いて最適であることを証明する。
• 最小最大下界を確立するために、低ランク行列の良好に分離された集合の構成を用いる。
• 集中不等式とカルバック・ライブラー発散の議論を組み合わせて、推定誤差の高確率バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 非均一サンプリング分布の下で、ノイズ付き低ランク行列補完の最適スペクトルノルムレートを達成できるか？
• RQ2 サンプリングが非均一な場合、核ノルム正則化推定量はスペクトルノルム意味で最小最大最適か？
• RQ3 既存の行列補完結果における均一性仮定を、サンプリング分布の非一様性条件が置き換えられるか？
• RQ4 一般のサンプリングスキームの下で、核ノルム推定量のスペクトルノルムにおける鋭い収束レートは何か？
• RQ5 高次元的状況 $ m_1 m_2 \gg n $ において、スペクトルノルム誤差レートは最小最大下界とどのように比較されるか？

主な発見

• 論文は、$ \Pi $ に対する非一様性条件の下で、任意の $ n, m_1, m_2 $ に対して、高確率 $ 1 - e^{-t} $ でスペクトルノルムにおける鋭いオラクル不等式を確立する。
• スペクトルノルム誤差バウンドは $ \|\hat{A}^\lambda - A_0\|_\infty \leq C(\sigma \vee a)\sqrt{m_1 m_2} \sqrt{(m_1 \vee m_2) \frac{t + \log(m_1 + m_2)}{n}} $ である。ここで $ C $ は数値定数。
• 導出されたレートは、低ランク行列のクラスにおいて最小最大意味で対数要因を除いて最適である。
• 特に[13]とは異なり、均一サンプリング仮定を排除することで、実用的でない仮定を排除した。
• 従来の均一サンプリング仮定が失敗する高次元的状況 $ m_1 m_2 \gg n $ においても、最適レートを達成する。
• 解析により、スペクトルノルムレートが最小最大最適であることが確認され、下界と上界が対数要因を除いて一致する。