[論文レビュー] Fast and Sample Efficient Inductive Matrix Completion via Multi-Phase Procrustes Flow

Xiao Zhang, Simon S. Du+1 more|arXiv (Cornell University)|Mar 3, 2018

Sparse and Compressive Sensing Techniques被引用数 8

ひとこと要約

本稿では、特徴数 n に線形で、環境次元 d に対数で依存するサンプル複雑度を達成する、インダクティブ行列補完のための新しい勾配ベースの非凸最適化アルゴリズムである Multi-Phase Procrustes Flow を提案する。この手法は、分散低減フェーズを導入することで、先行手法の限界を克服し、現実的なサンプリング条件下で最適な統計的・計算的効率を達成しながら正確な回復を実現する。

ABSTRACT

We revisit the inductive matrix completion problem that aims to recover a rank-$r$ matrix with ambient dimension $d$ given $n$ features as the side prior information. The goal is to make use of the known $n$ features to reduce sample and computational complexities. We present and analyze a new gradient-based non-convex optimization algorithm that converges to the true underlying matrix at a linear rate with sample complexity only linearly depending on $n$ and logarithmically depending on $d$. To the best of our knowledge, all previous algorithms either have a quadratic dependency on the number of features in sample complexity or a sub-linear computational convergence rate. In addition, we provide experiments on both synthetic and real world data to demonstrate the effectiveness of our proposed algorithm.

研究の動機と目的

• 補助情報を利用したインダクティブ行列補完において、特徴数 n に線形で依存する最適なサンプル複雑度を達成する線形収束を実現すること。
• 先行の非凸アルゴリズムで見られる特徴数 n に二次的に依存するサンプル複雑度の問題を克服すること。
• サンプル複雑度を特徴数 n に線形、環境次元 d に対数で依存させることで、正確な回復を達成する手法を開発すること。
• 低サンプル状態でも勾配推定の分散を安定化させるための分散低減メカニズムを設計すること。
• 部分観測された低ランク行列の回復において、サンプル効率と計算効率の両方を達成すること。

提案手法

• Procrustes Flow を拡張した複数段階の勾配ベースのアルゴリズムを提案し、追加の分散低減フェーズを導入する。
• スペクトル初期化を用いて、元の低ランク行列の粗い推定を得る。
• 新たな凸二次制約付き凸最適化問題（QCQP）を解くことで、勾配の分散を制御する新しい射影ステップを適用する。
• 各反復で新規のサンプルを導入することで、限られたデータでも低い勾配分散を維持する。
• 最適解付近で勾配の分散が期待勾配の大きさよりも速く減少することを活用し、後段のフェーズでは通常の勾配降下法を適用可能にする。
• 行列 Bernstein 不等式を用いて勾配推定の逸脱をバインドし、確率的サンプリング下での濃度を保証する。

実験結果

リサーチクエスチョン

• RQ1 インダクティブ行列補完において、特徴数 n に線形で依存するサンプル複雑度を達成する線形収束が可能か？
• RQ2 先行のアルゴリズムで見られる n に二次的に依存する問題を回避する非凸最適化アプローチは存在するか？
• RQ3 限られたサンプリング条件下でも勾配推定の分散を効果的に制御できるか？収束を保証できるか？
• RQ4 環境次元 d に対数で依存するサンプル複雑度で正確な回復が可能か？
• RQ5 線形収束速度を達成しつつ、インダクティブ設定において計算効率を維持できるか？

主な発見

• 提案手法は、真の行列への線形収束を達成し、サンプル複雑度 O(rn log d) を達成する。これは対数要因を除いて最適である。
• サンプル複雑度は特徴数 n に線形で、環境次元 d に対数で依存する。
• |Ω| ≥ c max{µ₀²r²κ², µ₀µ₁rn} log d / γ² の条件下で、正確な回復が達成される。
• 勾配推定の分散は、期待勾配の大きさよりも速く減少し、後段のフェーズでは射影なしで収束が可能になる。
• 合成データおよび実世界データにおける実験結果から、アルゴリズムの有効性、サンプル効率、高速収束性が確認された。
• 理論的分析により、本手法はサンプル複雑度および計算複雑度の両面で先行手法を上回ることが立証された。