[論文レビュー] Low-rank matrix completion by Riemannian optimization---extended version

Bart Vandereycken|arXiv (Cornell University)|Sep 18, 2012

Sparse and Compressive Sensing Techniques参考文献 44被引用数 18

ひとこと要約

本稿では、固定ランク行列の多様体上でリーマン最適化技術を用いて最適化を行う、低ランク行列補完のためのリーマン共役勾配法であるLRGeomCGを提案する。大規模問題において高いスケーラビリティと優れた性能を達成しており、非一様行列に対する制限付き等長性性質のもとで収束が保証されている。

ABSTRACT

The matrix completion problem consists of finding or approximating a low-rank matrix based on a few samples of this matrix. We propose a new algorithm for matrix completion that minimizes the least-square distance on the sampling set over the Riemannian manifold of fixed-rank matrices. The algorithm is an adaptation of classical non-linear conjugate gradients, developed within the framework of retraction-based optimization on manifolds. We describe all the necessary objects from differential geometry necessary to perform optimization over this low-rank matrix manifold, seen as a submanifold embedded in the space of matrices. In particular, we describe how metric projection can be used as retraction and how vector transport lets us obtain the conjugate search directions. Finally, we prove convergence of a regularized version of our algorithm under the assumption that the restricted isometry property holds for incoherent matrices throughout the iterations. The numerical experiments indicate that our approach scales very well for large-scale problems and compares favorably with the state-of-the-art, while outperforming most existing solvers.

研究の動機と目的

• 標準的な凸緩和法がスケーリングに劣る場合に、大規模な低ランク行列補完問題を効率的に解く挑戦に取り組む。
• 固定ランク行列のリーマン多様体上でのサンプルエントリ上の最小二乗誤差を直接最小化する非凸最適化フレームワークを構築する。
• 協調フィルタリングやシステム同定などの実世界の応用分野において、巨大で不完全なデータ行列に対するスケーラブルでロバストな行列補完を可能にする。
• 非一様行列に対する制限付き等長性性質の下で、正則化されたアルゴリズムのバージョンの理論的収束保証を提供する。

提案手法

• 固定ランク行列のリーマン多様体 $\mathcal{M}_k$ 上での滑らかな最適化問題として、低ランク行列補完問題を定式化する。
• 接空間内での勾配降下方向を計算するために、リーマン勾配 $\operatorname{grad}f(X) = \textrm{P}_{T_X\mathcal{M}_k}(\operatorname{P}_\Omega(X - A))$ を用いる。
• 反復点が多様体上に留まるように保証するため、測地的射影をリトラクションとして採用する。
• 方向を多様体上を平行移動させるためにベクトル輸送を適用し、共役方向更新を可能にする。
• 古典的な非線形共役勾配法をリーマン設定に適応し、ステップサイズ選択にArmijo線探索を組み込む。
• 2階変動を用いてリーマンヘッシアンを導出する。これにより、現在の反復点の行空間および列空間への射影を含む成分に分解する。

実験結果

リサーチクエスチョン

• RQ1 固定ランク行列の多様体上でのリーマン最適化は、大規模行列補完において従来の核ノルム緩和法を上回る性能を示せるか？
• RQ2 低ランク行列多様体上での共役勾配法を実装するために必要な幾何学的およびアルゴリズム的要素（例：リトラクション、ベクトル輸送）は何か？
• RQ3 正則化されたリーマン共役勾配アルゴリズムのバージョンが、どのような条件下で真の低ランク解に収束するか？
• RQ4 スパースなサンプリング集合に対して、提案手法の計算コストおよびメモリ使用量はどのようにスケーリングするか？
• RQ5 許容誤差 $\varepsilon$ を用いたロバストな定式化のもとで、アルゴリズムはノイズの影響に対してもロバスト性を維持できるか？

主な発見

• 提案されたLRGeomCGアルゴリズムは、大規模問題において非常に優れたスケーリング性能を示し、数値実験において最先端のソルバーよりも優れた性能を達成している。
• 非一様行列に対する制限付き等長性性質が反復の全過程で成り立つという仮定の下で、正則化されたバージョンの収束が保証されている。
• リーマンヘッシアンは、行空間および列空間への射影を含む2つの作用素の和として明示的に導出されている。
• リーマン勾配は、低ランク多様体の接空間への測地的射影を介して計算され、正しいリーマン幾何学的勾配降下を保証する。
• 測地的射影をリトラクションおよびベクトル輸送として用いることで、非凸な低ランク多様体上での安定的かつ効率的な最適化が可能になった。
• 特にスパースなサンプリングパターンを有する大規模行列において、精度と速度の両面で、既存の大多数のソルバーよりも優れた性能を示している。