[論文レビュー] Low-rank Matrix Completion using Alternating Minimization

Prateek Jain, Praneeth Netrapalli+1 more|arXiv (Cornell University)|Dec 3, 2012

Sparse and Compressive Sensing Techniques参考文献 22被引用数 24

ひとこと要約

本稿は、低ランク行列補完および行列センシングにおける交互最小化の理論的保証を初めて提供し、標準的な制限等方性および非一様性条件の下で、真の低ランク行列への幾何的（高速）収束を示している。凸緩和法よりも速い収束とグローバル最適性を達成しており、摂動下でのパワー法への関連を示す新規な解析フレームワークを確立している。

ABSTRACT

Alternating minimization represents a widely applicable and empirically successful approach for finding low-rank matrices that best fit the given data. For example, for the problem of low-rank matrix completion, this method is believed to be one of the most accurate and efficient, and formed a major component of the winning entry in the Netflix Challenge. In the alternating minimization approach, the low-rank target matrix is written in a bi-linear form, i.e. $X = UV^†$; the algorithm then alternates between finding the best $U$ and the best $V$. Typically, each alternating step in isolation is convex and tractable. However the overall problem becomes non-convex and there has been almost no theoretical understanding of when this approach yields a good result. In this paper we present first theoretical analysis of the performance of alternating minimization for matrix completion, and the related problem of matrix sensing. For both these problems, celebrated recent results have shown that they become well-posed and tractable once certain (now standard) conditions are imposed on the problem. We show that alternating minimization also succeeds under similar conditions. Moreover, compared to existing results, our paper shows that alternating minimization guarantees faster (in particular, geometric) convergence to the true matrix, while allowing a simpler analysis.

研究の動機と目的

• 交互最小化の経験的成功と、低ランク行列回復における形式的保証の欠如の間の理論的ギャップを埋めること。
• 制限等方性および非一様性などの標準的問題条件の下で、行列補完および行列センシングにおける交互最小化の性能を分析すること。
• 交互最小化が真の低ランク行列へ幾何的収束を達成することを示し、計算効率において既存の凸緩和法およびSVDベースの手法と同等またはそれを上回ること。
• 摂動下でのパワー法への解釈を可能にする、新しい解析フレームワークを構築すること。

提案手法

• 低ランク行列を $X = UV^\dagger$ とパrameter化し、$U \in \mathbb{R}^{m \times k}$ および $V \in \mathbb{R}^{n \times k}$ として、片方を固定した上で他方を最適化する交互ステップを繰り返す。
• 各ステップは凸部分問題（例：最小二乗）として解かれるため、全体の非凸性にもかかわらず各反復は計算的に扱いやすい。
• 数学的帰納法を用いて各段階におけるフロベニウスノルム誤差をバウンディングし、反復回数に応じて誤差が幾何的に減少することを示す。
• 重要な洞察として、交互最小化は制限等方性（RIP）および測定行列の非一様性によって制御される摂動を受けるパワー法に類似している。
• 条件数への依存を排除するために段階的適応を採用し、収束のロバスト性を向上させている。
• 行列濃度およびスペクトルノルム不等式を用いて理論的バウンディングを導出し、誤差項は特異値 $\sigma_i^*$ および $\sigma_{i+1}^*$ によって制御されている。

実験結果

リサーチクエスチョン

• RQ1 行列補完および行列センシングにおいて、交互最小化が真の低ランク行列へグローバルに収束する条件は何か？
• RQ2 交互最小化は、凸緩和法と同等またはそれ以上の幾何的収束レートを達成できるか？
• RQ3 初期化、特にターゲット部分空間との関係において、交互最小化の性能はどのように依存するか？
• RQ4 条件数は収束にどのように影響するか？ そして、アルゴリズム的修正によってこれを軽減できるか？
• RQ5 制御された摂動下でのパワー法への接続を通じて、交互最小化フレームワークを解析できるか？

主な発見

• 標準的RIPおよび非一様性条件の下で、交互最小化は真の行列へ幾何的収束を達成し、凸緩和法と同等またはそれを上回る性能を示す。
• 反復回数 $T = \Omega(\log(\|M\|_F / \epsilon))$ 経過後、真の低ランク行列 $M$ の回復が保証され、誤差 $\|M - \widehat{U}^T (\widehat{V}^T)^\dagger\|_F^2 \leq \max(\epsilon, 16k \sigma_{i+1}^2)$ を満たす。
• 初期反復が真の部分空間に対してほぼ直交的であってはならない。初期誤差が $c(\sigma_i^*)^2 + O(k(\sigma_{i+1}^*)^2)$ で有界で、$c < 1$ のとき、アルゴリズムは成功する。
• 解析により、交互最小化がRIPおよび非一様性によって制御される摂動を受けたパワー法の一種であることが明らかになった。これにより、よりタイトな収束バウンディングが可能になった。
• 段階的適応を用いることで、条件数への依存が排除され、収束の安定性とロバスト性が向上した。
• 安価な反復的更新とスパarsityおよび低ランク構造の活用により、既存の手法よりも計算的に効率的である。