[論文レビュー] A Riemannian geometry for low-rank matrix completion

Bamdev Mishra, K. Adithya Apuroop+1 more|arXiv (Cornell University)|Nov 7, 2012

Sparse and Compressive Sensing Techniques参考文献 25被引用数 52

ひとこと要約

本稿では、固定ランク行列の商多様体上での計量を、特定の最小二乗コスト関数に適合させることで、低ランク行列補完のための新しいリーマン幾何を提案する。これにより、1次および2次最適化が効率的に行える。得られたアルゴリズム（勾配降下法、共役勾配法、信頼域法）は、特に大規模および低密度のインスタンスにおいて最先端の性能を達成し、正確なラインサーチにより数値的に効率的かつ LMaFit と同等の性能を発揮する。

ABSTRACT

We propose a new Riemannian geometry for fixed-rank matrices that is specifically tailored to the low-rank matrix completion problem. Exploiting the degree of freedom of a quotient space, we tune the metric on our search space to the particular least square cost function. At one level, it illustrates in a novel way how to exploit the versatile framework of optimization on quotient manifold. At another level, our algorithm can be considered as an improved version of LMaFit, the state-of-the-art Gauss-Seidel algorithm. We develop necessary tools needed to perform both first-order and second-order optimization. In particular, we propose gradient descent schemes (steepest descent and conjugate gradient) and trust-region algorithms. We also show that, thanks to the simplicity of the cost function, it is numerically cheap to perform an exact linesearch given a search direction, which makes our algorithms competitive with the state-of-the-art on standard low-rank matrix completion instances.

研究の動機と目的

• 低ランク行列補完問題に特化したリーマン最適化フレームワークの構築を目的とする。
• 最小二乗コスト関数の構造を活用し、固定ランク行列の商多様体上でのリーマン計量を調整する。
• 新しい幾何に基づく、勾配法、共役勾配法、信頼域法を含む効率的な1次および2次最適化アルゴリズムの設計。
• 新しい計量下で正確なラインサーチが計算的に実行可能であることを示し、アルゴリズムの効率性を向上させる。
• 提案フレームワークが、LMaFit を含む既存手法を上回ることを、大規模および低密度の行列補完問題において示す。

提案手法

• 行列分解 $\mathbf{X} = \mathbf{G}\mathbf{H}^T$ を用いて探索空間をパrameter化し、$\mathbf{G} \in \mathbb{R}^{n \times r}_*$ および $\mathbf{H} \in \mathbb{R}^{m \times r}_*$ を定義することで、商多様体構造を導出する。
• Frobeniusノルムコスト関数 $\|\mathcal{P}_\Omega(\mathbf{X}) - \mathcal{P}_\Omega(\widetilde{\mathbf{X}})\|_F^2$ の構造を組み込んだ、問題特有のリーマン計量を商多様体上に導入する。
• 商多様体幾何を用いてリーマン勾配およびヘッセ行列の明示的表現を導出し、1次および2次最適化を可能にする。
• 新しい幾何上に、最急降下法、共役勾配法、信頼域法を実装し、正確なラインサーチを数値的に効率化する。
• 因子分解の非一意性を回避するため、$({\bf G},{\bf H}) \mapsto ({\bf G}{\bf M}^{-1}, {\bf H}{\bf M}^T)$ における不変性を用いて商構造を定義する。
• 大規模インスタンスにおける広範な数値実験を通じて、新しい幾何と既存の幾何（例：右不変、埋め込み）を比較する。

実験結果

リサーチクエスチョン

• RQ1 固定ランク行列のリーマン幾何は、低ランク行列補完の特定のコスト関数にどのように適合できるか？
• RQ2 低ランク行列の商多様体上に問題特有の計量を導入することで、既存の幾何と比較して収束速度と性能が向上するか？
• RQ3 新しい幾何下で正確なラインサーチはどの程度計算的に実行可能であり、アルゴリズムの効率性にどのように影響するか？
• RQ4 提案フレームワークは、最先端の LMaFit アルゴリズムと比較して、収束速度およびスケーラビリティの面でどのように差をつけるか？
• RQ5 どのような状況（例：低密度対高密度の観測率）で、新しい幾何が既存のリーマン最適化手法を上回るか？

主な発見

• 最小二乗コスト関数に適合した計量を調整した本稿で提案するリーマン幾何により、正確なラインサーチを伴う効率的な1次および2次最適化が可能になる。
• 大規模インスタンス（$n = m = 32000$、$r = 10$、観測エントリが 0.12%）において、本稿の幾何に基づく共役勾配法が、他のすべての CG スキームを上回る性能を発揮する。
• $n = m = 10000$、$r = 5$、観測率 0.5% の場合、LMaFit はパrameterチューニングが不十分なために失敗するが、本稿の幾何は競争力のある収束性能を維持する。
• 本稿の幾何に基づく信頼域法は、右不変幾何を著しく上回り、埋め込み幾何と比較しても反復回数および計算コストの面で優れた性能を示す。
• 本稿の幾何に基づく勾配降下法および共役勾配法は、LRGeom よりも優れた実行時間性能を示しており、計算効率性が裏付けられる。
• 本稿のフレームワークは、調整されたステップサイズバージョンとして LMaFit を一般化しており、LMaFit が提案された最適化スキームの特殊ケースであることが示される。