[論文レビュー] Provable Inductive Matrix Completion

Prateek Jain, Inderjit S. Dhillon|arXiv (Cornell University)|Jun 4, 2013

Sparse and Compressive Sensing Techniques参考文献 9被引用数 124

ひとこと要約

本稿は、ランク1の測定値を用いた低ランク行列推定および帰納的行列補完のための、証明可能に収束する交互最小化法を提案する。特徴ベクトルにやや弱い条件下でも、交互最小化がグローバル最適解へ線形収束することを確立し、RIPに基づく手法と比較して計算コストと記憶コストを顕著に削減する。行列センシング、帰納的行列補完、欠損ラベルを伴う多値ラベル回帰の理論的保証を提供する。

ABSTRACT

Consider a movie recommendation system where apart from the ratings information, side information such as user's age or movie's genre is also available. Unlike standard matrix completion, in this setting one should be able to predict inductively on new users/movies. In this paper, we study the problem of inductive matrix completion in the exact recovery setting. That is, we assume that the ratings matrix is generated by applying feature vectors to a low-rank matrix and the goal is to recover back the underlying matrix. Furthermore, we generalize the problem to that of low-rank matrix estimation using rank-1 measurements. We study this generic problem and provide conditions that the set of measurements should satisfy so that the alternating minimization method (which otherwise is a non-convex method with no convergence guarantees) is able to recover back the {\em exact} underlying low-rank matrix. In addition to inductive matrix completion, we show that two other low-rank estimation problems can be studied in our framework: a) general low-rank matrix sensing using rank-1 measurements, and b) multi-label regression with missing labels. For both the problems, we provide novel and interesting bounds on the number of measurements required by alternating minimization to provably converges to the {\em exact} low-rank matrix. In particular, our analysis for the general low rank matrix sensing problem significantly improves the required storage and computational cost than that required by the RIP-based matrix sensing methods \cite{RechtFP2007}. Finally, we provide empirical validation of our approach and demonstrate that alternating minimization is able to recover the true matrix for the above mentioned problems using a small number of measurements.

研究の動機と目的

• 標準的な行列補完では新しいユーザーまたはアイテムへの一般化ができないという限界を、側面情報（特徴ベクトル）を組み込むことで帰納的予測を可能にする。
• 帰納的行列補完、一般行列センシング、欠損ラベルを伴う多値ラベル回帰を統一的に扱える「低ランク行列推定（LRROM）」というフレームワークを形式化する。
• 測定演算子にやや弱い条件下でも、LRROM設定における交互最小化の理論的保証を提供し、グローバル最適解への線形収束を示す。
• 提案手法がRIPに基づく手法と同等またはそれ以上の回復精度を達成する一方で、記憶容量と計算コストを著しく低減できることを示す。

提案手法

• ユーザーとアイテムの特徴ベクトル $\bm{x}_i, \bm{y}_j$ を用いて、測定値 $\bm{b}_i = \bm{x}_i^T W_* \bm{y}_j$ から低ランク行列 $W_*$ を回復する帰納的行列補完問題を定式化する。
• 測定演算子が $W_*$ をランク1内積のベクトルに写像する一般化されたLRROMフレームワークを導入し、複数の低ランク推定問題を統一的に取り扱えるようにする。
• スペクトル初期化を用いた交互最小化を提案し、測定演算子の3つの主要な性質（非一様性、分散の有界性、測定の集中性）を満たせば、線形収束が保証されることを証明する。
• 正確な回復に必要な測定数の理論的境界を確立し、ガウス分布の特徴ベクトルの場合、$m = \Omega(k^4 \beta^2 (d_1 + d_2) \log(d_1 + d_2))$ の測定数が十分であることを示す。ここで $\beta$ は $W_*$ の条件数である。
• ランダム行列理論と行列集中不等式（例：行列チェルノフ不等式）を用いて、測定演算子の振る舞いを分析し、収束保証を証明する。
• 一般化された解析を3つの具体的な問題に適用する：(1) ガウス行列センシング、(2) 均等にサンプリングされたエントリを伴う帰納的行列補完、(3) 欠損ラベルを伴う多値ラベル回帰。これらの問題がすべて必要な条件を満たすことを示す。

実験結果

リサーチクエスチョン

• RQ1 側面情報（特徴ベクトル）を伴う帰納的行列補完において、交互最小化がグローバル最適解へ証明可能に収束するか？
• RQ2 特徴ベクトルと測定演算子にどのような条件が課されれば、低ランク行列推定における交互最小化が線形収束するか？
• RQ3 LRROMフレームワークにおいて、正確な回復に必要な測定数はどのようにスケーリングされるか。特にRIPに基づく手法と比較してどうか？
• RQ4 提案されたフレームワークは、行列センシングや多値ラベル回帰といった既存の低ランク推定問題を統一的かつ一般化できるか？
• RQ5 ランク1の測定値とRIPに基づく測定値の間で、回復精度と計算効率のトレードオフはどのように変化するか？

主な発見

• ガウス分布のランク1測定値を用いる場合、$m = \Omega(k^4 \beta^2 (d_1 + d_2) \log(d_1 + d_2))$ の測定数があれば、高確率で真の低ランク行列 $W_*$ が回復可能である。
• 提案手法はRIPに基づく行列センシングと同等またはそれ以上の回復精度を達成するが、実行時間は2桁以上短縮され、著しく効率的である。
• 均等にサンプリングされたエントリを伴う帰納的行列補完において、わずかな観測数でも実験結果により、低テスト誤差を達成し、元の行列を正確に回復できる。
• 欠損ラベルを伴う多値ラベル回帰において、ラベル数 $L=50$ で特徴次元 $d$ が小さい場合でも、テスト誤差が低く保たれ、$k$ や $d$ が増加しても誤差が滑らかに悪化する。
• 理論的解析により、測定演算子がやや弱い仮定のもとで、必要な集中性および非一様性の性質を満たしていることが確認され、交互最小化の線形収束が保証される。
• 特に大規模な設定において、記憶コストと計算コストを著しく削減できる点で、既存のRIPに基づく手法を改善する。