[論文レビュー] Fixed-rank matrix factorizations and Riemannian low-rank optimization

Bamdev Mishra, Gilles Meyer+2 more|arXiv (Cornell University)|Sep 3, 2012

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿は、商多様体を用いたリーマン最適化フレームワークを提案し、固定ランク行列分解における効率的な一次および二次最適化を可能にする。これは、非対称な低ランク行列に対する大規模な最適化を可能にし、従来の対称な正定値半定値行列に関する研究を一般化し、低ランク行列補完および関連学習タスクにおいて最先端のアルゴリズムと競争力のある性能を示す。

ABSTRACT

Motivated by the problem of learning a linear regression model whose parameter is a large fixed-rank non-symmetric matrix, we consider the optimization of a smooth cost function defined on the set of fixed-rank matrices. We adopt the geometric framework of optimization on Riemannian quotient manifolds. We study the underlying geometries of several well-known fixed-rank matrix factorizations and then exploit the Riemannian quotient geometry of the search space in the design of a class of gradient descent and trust-region algorithms. The proposed algorithms generalize our previous results on fixed-rank symmetric positive semidefinite matrices, apply to a broad range of applications, scale to high-dimensional problems and confer a geometric basis to recent contributions on the learning of fixed-rank non-symmetric matrices. We make connections with existing algorithms in the context of low-rank matrix completion and discuss relative usefulness of the proposed framework. Numerical experiments suggest that the proposed algorithms compete with the state-of-the-art and that manifold optimization offers an effective and versatile framework for the design of machine learning algorithms that learn a fixed-rank matrix.

研究の動機と目的

• 固定ランクの非対称行列の多様体上での滑らかな目的関数の最適化という課題に対処する。
• リーマン商多様体に基づく幾何学的フレームワークを構築し、既存の低ランク最適化アルゴリズムを統一的かつ一般化する。
• 現代の機械学習に生じる高次元問題に対してスケーラブルな一次および二次最適化を可能にする。
• 異なる行列因子分解および計量をサポートできる柔軟な幾何的基盤を提供し、アルゴリズムの適応性を高める。
• 低ランク行列補完および関連応用において、本フレームワークが最先端の手法と競合する性能を示す。

提案手法

• 固定ランク行列を3つの古典的因子分解 $\mathbf{W} = \mathbf{GH}^T$、$\mathbf{W} = \mathbf{UBV}^T$、$\mathbf{W} = \mathbf{UY}^T$ で表現し、それぞれがリーマン商多様体構造を誘導する。
• 積空間としてのストイケル多様体およびグラスマン多様体を活用し、探索空間をリーマン商多様体としてモデル化することで、幾何的対象の体系的導出を可能にする。
• 一次および二次最適化を支援するため、リーマン勾配、ヘッセ行列、リトラクション、ベクトル輸送の明示的行列表現を導出する。
• 積空間上の計量選択の柔軟性を導入し、行列因子の問題固有の正則化を可能にする。
• 商幾何に基づく信頼領域法および勾配降下法を実装し、行列次元に対して線形計算量を達成する。
• 初期ステップサイズ推定のための線形化ステップサイズ選択を用いることで、実用的な収束性の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 固定ランク行列因子分解を、幾何的最適化を可能にするリーマン商多様体フレームワークに体系的に埋め込む方法は何か？
• RQ2 固定ランク行列多様体上で一次および二次最適化を実行するにあたり、必要な主要な幾何的対象（勾配、ヘッセ行列、リトラクション）は何か？
• RQ3 行列因子分解の選択（例：$\mathbf{GH}^T$、$\mathbf{UBV}^T$、$\mathbf{UY}^T$）が、得られるリーマン幾何およびアルゴリズムの性能にどのように影響を与えるか？
• RQ4 商多様体上のリーマン最適化が、大規模な低ランク行列補完問題において最先端の手法と競合する性能を達成できるか？
• RQ5 積空間上の計量選択の柔軟性が、収束性および特定の学習タスクへの適応性をどのように向上させるか？

主な発見

• 提案されたリーマンフレームワークは、従来の対称な正定値半定値行列に関する結果を、非対称な固定ランクケースに一般化している。
• 検討された3つの因子分解（$\mathbf{GH}^T$、$\mathbf{UBV}^T$、$\mathbf{UY}^T$）は、低ランク行列補完において同等の数値的性能を示し、収束速度や精度に顕著な差は認められない。
• 商幾何に基づく信頼領域スキームは、LRGeom RTRと同等の漸近的性能を示すが、LRGeom RTRは初期収束性がわずかに優れている。
• 商幾何に基づく勾配降下法は、埋め込み幾何に基づくものと数値的に区別できないため、実用的性能において頑健性と同等性が確認された。
• 計量選択の柔軟性、特に $\mathbf{B}$ を対角行列でない正定値行列にすることを許容することで、$\mathbf{UBV}^T$ 因子分解における収束特性が向上した。
• すべての行列演算の計算コストは、行列次元に対して線形であり、$32,000 \times 32,000$ のランク5行列のような高次元問題へのスケーラビリティが確認された。