[論文レビュー] Riemannian optimization on the simplex of positive definite matrices

Bamdev Mishra, Hiroyuki Kasai+1 more|arXiv (Cornell University)|Jun 25, 2019

Topological and Geometric Data Analysis参考文献 13被引用数 4

ひとこと要約

本稿は、制約条件 $\mathbf{X}_1 + \cdots + \mathbf{X}_K = \mathbf{I}$ および $\mathbf{X}_i \succ 0$ で定義される行列単体多様体に対するリーマン最適化フレームワークを導入する。これにより、対称正定値行列上での効率的な最適化が可能になる。主な貢献は、計量、接空間への射影、リーマン勾配、ヘッセ行列の閉形式表現を備えた新規なリーマン幾何構造の確立であり、ノイズがかかる推定値から直交部分空間の復元に成功している。

ABSTRACT

In this work, we generalize the probability simplex constraint to matrices, i.e., $\mathbf{X}_1 + \mathbf{X}_2 + \ldots + \mathbf{X}_K = \mathbf{I}$, where $\mathbf{X}_i \succeq 0$ is a symmetric positive semidefinite matrix of size $n imes n$ for all $i = \{1,\ldots,K \}$. By assuming positive definiteness of the matrices, we show that the constraint set arising from the matrix simplex has the structure of a smooth Riemannian submanifold. We discuss a novel Riemannian geometry for the matrix simplex manifold and show the derivation of first- and second-order optimization related ingredients.

研究の動機と目的

• 確率単体制約を、$\sum_{i=1}^K \mathbf{X}_i = \mathbf{I}$ および $\mathbf{X}_i \succ 0$ として対称正定値行列へ一般化すること。
• 厳密な正定値性を課すことにより、行列単体に滑らかなリーマン部分多様体構造を確立すること。
• リーマン最適化アルゴリズムに使用可能な一次および二次最適化道具（リーマン勾配、ヘッセ行列、接空間への射影）を導出すること。
• ノイズがかかる行列推定値から互いに直交する部分空間を復元するためのフレームワークの有効性を示すこと。

提案手法

• 行列単体多様体 $\mathcal{M}_n^K$ を、和が単位行列に等しい $K$ 個の $n \times n$ 対称正定値行列の $K$ 重組として定義する。
• 各行列の逆行列に基づく双不変リーマン計量を導入する：$g_x(\xi, \eta) = \sum_i \mathrm{trace}(\mathbf{X}_i^{-1} \xi_{\mathbf{X}_i} \mathbf{X}_i^{-1} \eta_{\mathbf{X}_i})$。
• 点 $x \in \mathcal{M}_n^K$ における接空間を、和がゼロ行列に等しい $K$ 個の対称行列の組として定義する：$\xi_{\mathbf{X}_1} + \cdots + \xi_{\mathbf{X}_K} = \mathbf{0}$。
• アービトラリーなベクトルを接空間に射影する閉形式の射影演算子を構築し、計算コストを $K$ に線形に抑える。
• 計量と射影演算子を用いて、ユークリッド勾配およびヘッセ行列からリーマン勾配およびヘッセ行列を構成する。
• フレームワークをヘルミートの場合および一般の正定値行列 $\mathbf{M}$ の分解に拡張するため、変数変換を導入する。

実験結果

リサーチクエスチョン

• RQ1 確率単体制約を、厳密な正定値性を保ちつつ、対称正定値行列へどのように一般化できるか？
• RQ2 厳密な正定値性の下で、行列単体多様体に対する適切なリーマン計量および接空間構造は何か？
• RQ3 この多様体上で、一次および二次最適化ツール（勾配、ヘッセ行列、射影）を閉形式でどのように導出できるか？
• RQ4 提案されたリーマンフレームワークは、ノイズがかかる行列推定値から互いに直交する部分空間を効果的に復元できるか？
• RQ5 大規模な状況において、最適化性能を損なわずに計算コストをどのように低減できるか？

主な発見

• 厳密な正定値性を課した場合、行列単体多様体 $\mathcal{M}_n^K$ は対称正定値行列の積空間の滑らかなリーマン部分多様体を形成する。
• リーマン計量は $\mathbb{SPD}_n$ 上の双不変計量に基づいて導出され、幾何的整合性を保ちつつ効率的な最適化を可能にする。
• 接空間への射影演算子は $O(K)$ 時間で計算可能であり、リーマン勾配およびヘッセ行列は計量と射影を用いて導出可能であり、一次および二次最適化が可能になる。
• $n=100$, $K=3$ のトイ実験では、信頼領域法が相互直交性誤差を $10^{-6}$ 未満に抑え、直交部分空間のほぼ完全な復元を達成した。
• フレームワークはヘルミートの場合および一般の正定値行列 $\mathbf{M}$ の分解へ一般化可能であり、変数変換により実現される。
• 大規模問題では、$\mathbf{X}_i = \mathbf{U} \mathbf{B}_i \mathbf{U}^\top$ による低ランク近似により、計算コストを $O(nr^2 + r^3K)$ に低減でき、$r \ll n$ の場合にスケーラビリティが向上する。