[論文レビュー] Concentration-Based Guarantees for Low-Rank Matrix Reconstruction

Rina Foygel, Nathan Srebro|arXiv (Cornell University)|Feb 18, 2011

Sparse and Compressive Sensing Techniques参考文献 16被引用数 47

ひとこと要約

本稿は、ランクの代替として最大ノルムを用いた低ランク行列回復のための改善された再構成保証を提供する。最大ノルムとトレースノルムの球体に対するラデマッハ複雑度解析を活用し、ノイズなし回復において $ O\left(\frac{r(n+m)}{\epsilon} \cdot \log^3(1/\epsilon)\right) $ のサンプル複雑度を達成することを示す。これは、非一様性仮定を回避し、次元にたいする対数的依存性を減らすことで、最近の境界を上回る。

ABSTRACT

We consider the problem of approximately reconstructing a partially-observed, approximately low-rank matrix. This problem has received much attention lately, mostly using the trace-norm as a surrogate to the rank. Here we study low-rank matrix reconstruction using both the trace-norm, as well as the less-studied max-norm, and present reconstruction guarantees based on existing analysis on the Rademacher complexity of the unit balls of these norms. We show how these are superior in several ways to recently published guarantees based on specialized analysis.

研究の動機と目的

• 低ランク行列再構成のための一般化保証を、最大ノルムとトレースノルムをランクの代替として提供すること。
• 最大ノルム正則化が、より弱い仮定のもとで最近の最先端手法よりも強い理論的保証を達成することを示すこと。
• ラデマッハ複雑度、行列ノルム、低ランク構造の関係を、近似行列回復の文脈で分析すること。
• 近似低ランク行列回復における、取り出しの有無を問わずサンプリングの関係を厳密に確立すること。
• スパイキー性仮定が、推定器の選択にかかわらず、二乗誤差再構成において必要不可欠であることの証明。

提案手法

• SrebroとShraibman（2005）が提示した最大ノルムとトレースノルムの単位球体に対するラデマッハ複雑度解析を基盤とする。
• 最大ノルムとトレースノルムのノルム不等式を用いて、ランク、最大ノルム、トレースノルムの関係を導出し、一般化保証を導出する。
• 集中不等式を適用して、潜在行列の最大ノルムとトレースノルムの関数として過剰リスクを上界付ける。
• 最大ノルムをフロベニウスノルムおよびスペクトル特性と関連付けることで、条件数 $\kappa$ と一様性 $\mu_0$ を用いて、サンプル複雑度の境界を導出する。
• 最大ノルム正則化が非一様性仮定を回避し、先行研究と比較して次元にたいする対数的依存性を軽減できることを確立する。
• 最大ノルムの因子分解に基づく表現を用いて、低ランク因子の行および列ノルムの関数としてその値を上界付ける。

実験結果

リサーチクエスチョン

• RQ1 最大ノルムとトレースノルムの球体に対するラデマッハ複雑度解析が、特殊化された解析よりも、低ランク行列回復の再構成保証を厳密に得られるか？
• RQ2 非一様性やノイズ構造の観点から、最大ノルム正則化とトレースノルムのサンプル複雑度と仮定の違いは何か？
• RQ3 行列のスパイキー性（すなわち $\|X\|_\infty = O(1)$）が、低ランク行列再構成のサンプル複雑度に与える影響は？
• RQ4 近似行列回復の文脈において、取り出しの有無を問わずサンプリングの関係を厳密に形式化できるか？
• RQ5 任意の手法が、低ランク行列再構成において有界な平均二乗誤差を達成するためには、スパイキー性仮定が不可欠であるか？

主な発見

• 最大ノルム正則化推定量は、ノイズなし回復において $ O\left(\frac{r(n+m)}{\epsilon} \cdot \log^3(1/\epsilon)\right) $ のサンプル複雑度を達成し、次元にたいする対数的依存性と非一様性仮定を回避する。
• 近似的に低ランクな状況でノイズ分散 $\sigma^2$ が存在する場合、サンプル複雑度は $ O\left(\frac{r(n+m)}{\epsilon} \cdot \frac{\sigma^2 + \epsilon}{\epsilon} \cdot \log^3(1/\epsilon)\right) $ となる。これは一部の最近の境界よりもわずかに悪い $\epsilon$-依存性を示す。
• 同様に、i.i.d. ノイズや非一様性条件を必要としないため、先行手法よりもよりロバストである。
• 本稿では、有界な平均二乗誤差再構成のためには、$\|X\|_\infty = O(1)$ というスパイキー性仮定が、使用する推定器に関わらず必要不可欠であることを確立した。
• 対称的または低条件数の状況では、最大ノルムの境界が、補題5の最悪ケース境界よりも顕著にタイトになることが示され、実用的なサンプル複雑度が向上する。
• 解析により、特定の状況（特に非一様でない潜在行列）では、最大ノルムクラスのラデマッハ複雑度が、トレースノルムよりも優れた一般化保証をもたらすことが明らかになった。