[論文レビュー] The Power of Convex Relaxation: Near-Optimal Matrix Completion

Emmanuel J. Candès, Terence Tao|ArXiv.org|Mar 9, 2009

Sparse and Compressive Sensing Techniques参考文献 16被引用数 32

ひとこと要約

この論文は、特異ベクトルの非一様性仮定の下で、観測された要素の数が $nr\log n$ のオーダーであるとき、核ノルム最小化を用いた低ランク行列補完が高確率で可能であることを確立している。主な貢献は、凸緩和による核ノルム最小化が、情報理論的限界から対数因子を除いて近似的に最適な理論的保証を提供し、正確な回復を高確率で達成できることを示したことである。

ABSTRACT

This paper is concerned with the problem of recovering an unknown matrix from a small fraction of its entries. This is known as the matrix completion problem, and comes up in a great number of applications, including the famous Netflix Prize and other similar questions in collaborative filtering. In general, accurate recovery of a matrix from a small number of entries is impossible; but the knowledge that the unknown matrix has low rank radically changes this premise, making the search for solutions meaningful. This paper presents optimality results quantifying the minimum number of entries needed to recover a matrix of rank r exactly by any method whatsoever (the information theoretic limit). More importantly, the paper shows that, under certain incoherence assumptions on the singular vectors of the matrix, recovery is possible by solving a convenient convex program as soon as the number of entries is on the order of the information theoretic limit (up to logarithmic factors). This convex program simply finds, among all matrices consistent with the observed entries, that with minimum nuclear norm. As an example, we show that on the order of nr log(n) samples are needed to recover a random n x n matrix of rank r by any method, and to be sure, nuclear norm minimization succeeds as soon as the number of entries is of the form nr polylog(n).

研究の動機と目的

• 正確に低ランク行列を回復するために必要な観測要素の最小数を特定すること。
• 核ノルム最小化による凸緩和が、最小限のサンプリング条件下でも正確な行列補完を達成できるかどうかを分析すること。
• 情報理論的下界から対数因子を除いて一致する理論的保証を確立すること。
• 特に特異ベクトルの非一様性という条件下で、凸最適化による正確な回復が保証可能であることを特定すること。

提案手法

• 非凸な低ランク行列回復問題の凸緩和として核ノルム最小化を提案する。
• 半定形計画法を用いて核ノルム最小化問題を効率的に解く。
• 最適化における双対性と確率的行列理論を用いて回復条件を分析する。
• 情報の均一なサンプリングを保証するため、行列の左および右特異ベクトルに対する非一様性仮定を導入する。
• 自由確率論および確率的行列理論の道具を用いて、ランダムなサンプリング作用素の特異値を評価する。
• 作用素ノルムの再帰的解析を用いて、回復プロセスにおける反復的射影の挙動を制御する。

実験結果

リサーチクエスチョン

• RQ1 正確にランク-$r$ 行列を回復するために必要な情報理論的最小要素数は何か？
• RQ2 核ノルム最小化は、情報理論的限界に近い要素数から低ランク行列を回復できるか？
• RQ3 特異ベクトルにどのような条件下で、凸緩和による正確な行列補完が保証されるか？
• RQ4 サンプリングパターン（例：一様ランダム）は、核ノルム最小化の回復性能にどのように影響するか？
• RQ5 非一様性は、凸緩和による近似的に最適な行列補完を可能にする役割を果たすか？

主な発見

• 観測要素数が $nr\log n$ のオーダーであるとき、非一様性仮定の下で正確な行列補完が高確率で可能である。これは、情報理論的下界から対数因子を除いて一致する。
• 非一様性仮定の下で、要素数が $O(nr\,\text{polylog}(n))$ に達する段階で、核ノルム最小化は真の低ランク行列を正確に回復する。
• 特異ベクトルが標準基底に対して非一様である限り、すべてのランク $r$ の低ランク行列に対して一様に回復保証が成立する。
• 要素が一様にランダムにサンプリングされる場合でも、サンプリング率が $C \cdot nr \log n / n^2$ を超える限り、この手法は成功する。
• 分析により、核ノルム最小化問題はノイズに対してロバストであり、半定形計画法を用いて効率的に解けることが示された。
• 理論的境界は鋭い：ランク-$r$ 行列を $2nr - r^2$ 個以下の要素から回復することは不可能であり、本手法はこの限界を対数的オーバーヘッドのみで超えて回復を達成する。