[論文レビュー] Leave-one-out Approach for Matrix Completion: Primal and Dual Analysis

Lijun Ding, Yudong Chen|arXiv (Cornell University)|Mar 20, 2018

Sparse and Compressive Sensing Techniques参考文献 36被引用数 9

ひとこと要約

本稿は、行列補完アルゴリズムのエントリごとの収束保証を確立するための、1つずつ除外する分析フレームワーク（leave-one-out analysis）を導入する。非正則化された投影勾配降下法（PGD）に対して、初めての無限大ノルムにおける線形収束を確立し、条件数に依存しない、核ノルム最小化における最適なサンプル複雑度 $ϴ(μ r \log(μ r) d \log d)$ を達成する。

ABSTRACT

In this paper, we introduce a powerful technique based on Leave-one-out analysis to the study of low-rank matrix completion problems. Using this technique, we develop a general approach for obtaining fine-grained, entrywise bounds for iterative stochastic procedures in the presence of probabilistic dependency. We demonstrate the power of this approach in analyzing two of the most important algorithms for matrix completion: (i) the non-convex approach based on Projected Gradient Descent (PGD) for a rank-constrained formulation, also known as the Singular Value Projection algorithm, and (ii) the convex relaxation approach based on nuclear norm minimization (NNM). Using this approach, we establish the first convergence guarantee for the original form of PGD without regularization or sample splitting}, and in particular shows that it converges linearly in the infinity norm. For NNM, we use this approach to study a fictitious iterative procedure that arises in the dual analysis. Our results show that \NNM recovers an $ d $-by-$ d $ rank-$ r $ matrix with $\mathcal{O}(μr \log(μr) d \log d )$ observed entries. This bound has optimal dependence on the matrix dimension and is independent of the condition number. To the best of our knowledge, this is the first sample complexity result for a tractable matrix completion algorithm that satisfies these two properties simultaneously.

研究の動機と目的

• 反復処理における反復間および観測エントリ間の確率的依存関係を考慮した、反復的行列補完アルゴリズムの解析の課題に取り組む。
• 従来の手法が不切実な仮定に依存するか、最適でない境界を与えるという制限を克服する。
• 行列補完におけるプライマルおよびデュアル手続きの両方の統一的フレームワークを、1つずつ除外する分析を用いて構築する。
• 非凸なPGDおよび凸なNNMアルゴリズムの両方に対して、きめ細やかなエントリごとの収束保証を確立する。

提案手法

• 本稿は、反復的手続きにおける個々のエントリへの依存の影響を分離するために、1つずつ除外する手法を採用する。
• この手法を、ランク制約付き行列補完における投影勾配降下法（PGD）のプライマル経路の解析に適用する。
• 同じ手法を、核ノルム最小化（NNM）の解析に生じる架空のデュアル反復手続きの解析にも適用する。
• 特に、$\|\mathcal{H}_{\Omega}^{(-i)}(A)\|_{Τ\text{op}}$ のような、確率的線形作用素の作用素ノルムの一様な境界を、行列ベルンシュタイン不等式を用いて確立する。
• 1つずつ除外する摂動による依存の制御を精密に行い、$\|\theta^t - \theta^*\|_\infty$ の境界を介してエントリごとの収束を確立する。
• スぺクトルノルムの変分表現およびランク構造付き行列分解を活用し、きめ細やかな高確率境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 1つずつ除外する分析は、依存する反復を持つ反復的行列補完アルゴリズムに対して、エントリごとの収束保証を提供できるか？
• RQ2 核ノルム最小化における行列補完の最適なサンプル複雑度は、条件数に依存せずにどの程度か？
• RQ3 非正則化された投影勾配降下法（PGD）は、低ランク行列補完において無限大ノルムで線形収束するか？
• RQ4 1つずつ除外するフレームワークは、行列補完におけるプライマル（PGD）およびデュアル（NNM）手続きの両方の解析を統一できるか？
• RQ5 正確な回復を達成するために必要な観測エントリ数の、最もきつい可能な境界は何か？

主な発見

• 本稿は、行列補完における非正則化された投影勾配降下法（PGD）に対して、初めての無限大ノルムにおける線形収束を確立する。
• 核ノルム最小化（NNM）において、$\mathcal{O}(\mu r \log(\mu r) d \log d)$ のサンプル複雑度を達成し、次元および条件数に依存しない。
• 1つずつ除外するフレームワークにより、反復の依存関係を分析する上で不可欠なエントリごとの境界が可能になる。
• ランク-$r$ 行列に対して、$\|\mathcal{H}_{\Omega}^{(-i)}(A)\|_{Τ\text{op}} \leq 2c\sqrt{\frac{rd\log d}{p}}\|A\|_{\infty}$ が高確率で成り立つことが示された。
• この境界はすべての $i \in [d]$ に対して一様であり、対称および非対称な行列補完モデルの両方で成り立つ。
• 結果として、サンプル複雑度が $d$ および $r$ に関して最適であり、$\mu$（コherenCe）への依存がタイトであることが示された。