[論文レビュー] Fast Exact Matrix Completion: A Unified Optimization Framework for Matrix Completion

Dimitris Bertsimas, Michael Lingzhi Li|arXiv (Cornell University)|Oct 20, 2019

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿では、補助情報あり・なしを問わず、高速かつ正確な低ランク行列補完のための非凸最適化フレームワークである fastImpute を提案する。行列補完問題を、一方の因子を他方の因子の関数として表現することで分離可能な最適化問題に再定式化することにより、単一の変数における効率的な投影勾配降下法を可能にし、正則化を必要とせずグローバル収束を達成する。この手法は、75%のMAPE低減と15倍の高速化を実現し、特に欠損データが多い状況で優れた性能を示し、10^6 × 10^6 の行列に対してもスケーラブルである。

ABSTRACT

We formulate the problem of matrix completion with and without side information as a non-convex optimization problem. We design fastImpute based on non-convex gradient descent and show it converges to a global minimum that is guaranteed to recover closely the underlying matrix while it scales to matrices of sizes beyond $10^5 \ imes 10^5$. We report experiments on both synthetic and real-world datasets that show fastImpute is competitive in both the accuracy of the matrix recovered and the time needed across all cases. Furthermore, when a high number of entries are missing, fastImpute is over $75\\%$ lower in MAPE and $15$ times faster than current state-of-the-art matrix completion methods in both the case with side information and without.

研究の動機と目的

• 補助情報あり・なしを問わず、統一的かつスケーラブルかつ正確な最適化フレームワークを低ランク行列補完のために開発すること。
• 既存の凸緩和法および因子分解ベース手法の速度とスケーラビリティの限界を克服し、正確な回復保証を維持すること。
• 特別な正則化項を必要とせず、グローバル収束を達成する非凸最適化アプローチを設計すること。
• 特に欠損エントリの割合が高い状況においても、最新の手法と比較して精度（MAPE）と実行時間の両面で優れた性能を達成すること。

提案手法

• 一方の因子（U）を他方の因子（V）の関数 g(V) として表現することで、行列補完問題を分離可能な最適化問題に再定式化し、変数 V のみを最適化することで問題を単一変数に削減する。
• 固定ノルム制約 ||V||₂ = 1 を用いて、非凸の投影勾配降下法を V に対して適用し、スケーリング不変性と安定性を確保する。
• 行列微積分を用いて、V に関するコスト関数と勾配の閉形式表現を導出し、計算を効率化する。
• 固定ノルム超球制約を維持するための射影ステップを導入し、収束性を保証するとともに、退化した解を回避する。
• 因子分解を特徴量の任意の線形結合として許容することで、補助情報を統合し、モデルの柔軟性と表現力の向上を図る。
• 同一の最適化構造を用いて、補助情報あり・なしの両方の低ランク行列補完を統一的に処理するフレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 特別な正則化項を必要とせず、非凸最適化フレームワークが正確な行列回復を達成できるか？
• RQ2 マトリクスサイズや欠損率を変化させた場合、fastImpute の性能（MAPEと実行時間）は最新の手法と比べてどの程度か？
• RQ3 本手法は 10^5 × 10^5 を超えるマトリクスに対しても、高い精度と高速な収束を維持してスケーラブルか？
• RQ4 導出された因子分解 g(V) を用いた統一フレームワークは、U と V を同時に最適化する標準的な Burer-Monteiro 因子分解を上回るか？
• RQ5 特に実世界のデータセット（例：Netflix）において、高い欠損率下でも本手法はどの程度の性能を示すか？

主な発見

• 欠損エントリの割合が高い状況では、補助情報あり・なしの両方で、fastImpute は最新手法と比較して MAPE を75%以上低減した。
• 本手法は、特に欠損データが多い状況で、最新の手法と比較して最大15倍速く、小規模マトリクスではサブ線形スケーリング、大規模マトリクスでは O(nm) のスケーリングを示した。
• 合成データでは、fastImpute は MAPE が最も低く（10^6 × 10^3 で 2.1%）、104秒で完了した。一方、SIALS は6270秒、SISVD は20時間以内に完了しなかった。
• Netflix データセット（471,268 × 14,538）において、fastImpute は SIALS よりも低い MAPE（13.8% 対 20.1%）を達成し、実行時間も 2098秒（SIALS は38,256秒）で短縮した。
• 理論的複雑度 O(k³) にかかわらず、実際には O(k) のスケーリングを示したが、これは k² および k³ 項の定数係数が小さいことが理由と考えられる。
• 本フレームワークは、特徴量の完全な線形結合を許容することで、補助情報を効果的に処理でき、離散的特徴選択に制限された手法よりも優れた回復性能を示した。