[論文レビュー] Riemannian Perspective on Matrix Factorization

Kwangjun Ahn, Felipe Suárez|arXiv (Cornell University)|Feb 1, 2021

Sparse and Compressive Sensing Techniques参考文献 42被引用数 4

ひとこと要約

本稿は、行列補完における行列因子分解のためのリーマン幾何学的枠組みを提示し、グラスマン多様体と主角度を用いて最適化の局所的構造を分析する。コスト関数が真の部分空間の周囲の特定の領域内で測地線的凸性を示すことを確立し、この領域外のすべての臨界点が厳密な鞍点であることを示しており、リーマン最適化手法の収束に対する理論的基盤を提供する。

ABSTRACT

We study the non-convex matrix factorization approach to matrix completion via Riemannian geometry. Based on an optimization formulation over a Grassmannian manifold, we characterize the landscape based on the notion of principal angles between subspaces. For the fully observed case, our results show that there is a region in which the cost is geodesically convex, and outside of which all critical points are strictly saddle. We empirically study the partially observed case based on our findings.

研究の動機と目的

• リーマン幾何学を用いて、行列補完における行列因子分解の非凸最適化の局所的構造を理解すること。
• 部分空間間の主角度を用いて、グラスマン多様体上でのコスト関数の幾何的性質を特徴付けること。
• コスト関数が測地線的凸性を示す領域を同定し、その領域外のすべての臨界点が厳密な鞍点であることを特定すること。
• 観測確率 $p$ を変化させながら、完全観測ケースから部分観測ケースへの洞察の拡張を実証的に検証すること。
• リーマン最適化が行列補完で効果的である理由を理論的に裏付けること。

提案手法

• 低ランク行列をその列部分空間によってパラメータ化することで、行列因子分解を単一のグラスマン多様体上の最適化問題として定式化する。
• 部分空間間の主角度を用いて、コスト関数の局所的構造の幾何的性質を特徴付ける。
• 真の部分空間の周囲に定義された近傍 $\mathcal{N}_{[\mathbf{U}]}(\pi/4)$ において、コスト関数が測地線的凸性を示すことを定義する。
• 測地線的凸性とヘッセ行列の2次微分解析を用いて、臨界点を分析するリーマン最適化のツールを活用する。
• 観測確率 $p$ を変化させ、部分観測ケースと完全観測ケースの間で局所的構造の類似性を観察することで、両者の比較を行う。
• 数値実験を用いて、$p$ がやや小さい値でない限り（例：$p \geq 0.01$）、部分観測ケースの局所的構造が完全観測ケースと類似していることを検証する。

実験結果

リサーチクエスチョン

• RQ1 部分空間間の主角度を用いた幾何的条件下で、行列因子分解のコスト関数はグラスマン多様体上で測地線的凸性を示すか？
• RQ2 部分空間間の主角度を用いて、行列因子分解の局所的構造を特徴付けることができるか？
• RQ3 この凸領域外のすべての臨界点が厳密な鞍点であるか？
• RQ4 部分観測ケースにおける最適化の局所的構造は、完全観測ケースとどのように比較できるか？
• RQ5 完全観測ケースにおける理論的知見を、部分観測設定へと拡張できるか？

主な発見

• コスト関数は、主角度を用いて定義された近傍 $\mathcal{N}_{[\mathbf{U}]}(\pi/4)$ 内で測地線的凸性を示す。
• この領域外のすべての臨界点は、脱出方向に沿った負の2次微分により、厳密な鞍点であることが確認された。
• 実証的結果から、観測確率 $p$ が小さすぎない場合（例：$p \geq 0.01$）に、部分観測ケースの局所的構造が完全観測ケースと類似していることが示された。
• 標準的な定式化では、コスト関数が部分観測ケースで不連続になることがあることが、反例（$\mathbf{x} = [1, 0, 0]^\top$ で不連続）により示された。
• 弦距離や正則化を用いた代替定式化により、連続性が回復され、数値的安定性が向上することが示された。
• リーマン勾配降下法の軌道は、凸領域内で安定しており収束することが示され、好ましい最適化挙動が予想された。