[論文レビュー] On Riemannian Optimization over Positive Definite Matrices with the Bures-Wasserstein Geometry

Andi Han, Bamdev Mishra+2 more|arXiv (Cornell University)|Dec 6, 2021

Morphological variations and asymmetry被引用数 1

ひとこと要約

この論文は、対称正定値（SPD）行列におけるリーマン最適化のための、Bures-Wasserstein（BW）幾何とアフィン不変（AI）幾何を比較し、BWの線形計量依存性と非負の曲率が、特に病的条件の悪い行列において、頑健性と収束性を向上させることを示している。さらに、主な目的関数に対して、BW幾何における測地線的凸性が保持されることを確立している。

ABSTRACT

In this paper, we comparatively analyze the Bures-Wasserstein (BW) geometry with the popular Affine-Invariant (AI) geometry for Riemannian optimization on the symmetric positive definite (SPD) matrix manifold. Our study begins with an observation that the BW metric has a linear dependence on SPD matrices in contrast to the quadratic dependence of the AI metric. We build on this to show that the BW metric is a more suitable and robust choice for several Riemannian optimization problems over ill-conditioned SPD matrices. We show that the BW geometry has a non-negative curvature, which further improves convergence rates of algorithms over the non-positively curved AI geometry. Finally, we verify that several popular cost functions, which are known to be geodesic convex under the AI geometry, are also geodesic convex under the BW geometry. Extensive experiments on various applications support our findings.

研究の動機と目的

• 対称正定値（SPD）行列におけるリーマン最適化の文脈で、広く用いられているアフィン不変（AI）幾何と比較して、Bures-Wasserstein（BW）幾何の適切さを評価すること。
• BWの線形計量依存性がAIの2次依存性とどのように対照的であり、最適化性能にどのように影響するかを調査すること。
• BW幾何の曲率特性を分析し、それらがアルゴリズムの収束速度に与える影響を評価すること。
• 一般的に使用される目的関数が、AI幾何では測地線的凸性を示すことが知られているが、BW幾何でも同様に測地線的凸性を保つかどうかを検証すること。
• 病的条件の悪いSPD行列を含む多様な応用分野において、理論的利点が実証的に裏付けられることを確認すること。

提案手法

• 論文は、Bures-Wasserstein計量の構造を分析し、SPD行列に対する線形依存性を強調し、アフィン不変計量の2次依存性と対比している。
• BW幾何の曲率特性を導出し、解析することで、AI幾何とは異なり非負の部分曲率を持つことを証明している。
• 計量の構造的性質を用いて、標準的な目的関数がBW幾何において測地線的凸性を示す理論的分析を実施している。
• 病的条件の悪いSPD行列を用いた最適化性能を、両幾何を用いて比較し、収束速度と頑健性を測定している。
• SPD行列推定や低ランク近似を含む、実世界の応用に対して広範な実験を実施し、理論的発見の妥当性を検証している。
• 比較的評価のため、両幾何においてリーマン最適化アルゴリズム（例えばリーマン信頼領域法や共役勾配法）を用いている。

実験結果

リサーチクエスチョン

• RQ1 Bures-Wasserstein計量のSPD行列に対する線形依存性は、アフィン不変計量の2次依存性と比較して、最適化性能にどのように影響するか？
• RQ2 Bures-Wasserstein幾何の曲率特性は何か？ そして、リーマン最適化における収束速度にどのように影響するか？
• RQ3 アフィン不変幾何において測地線的凸性を示すとされる標準的な目的関数は、Bures-Wasserstein幾何でも測地線的凸性を示すか？
• RQ4 Bures-Wasserstein幾何は、アフィン不変幾何と比較して、病的条件の悪い対称正定値行列における頑健性と収束性を向上させるか？
• RQ5 Bures-Wasserstein幾何は、SPD行列を含む多様な応用分野において、性能を維持または向上させることができるか？

主な発見

• Bures-Wasserstein計量はSPD行列に対して線形依存性を示し、アフィン不変計量の2次依存性と比較して最適化を単純化し、数値的安定性を向上させる。
• Bures-Wasserstein幾何は非負の部分曲率を持つため、負の曲率をとる可能性のあるアフィン不変幾何と比較して、リーマン最適化アルゴリズムの収束が速くかつ安定することが寄与する。
• 従来、アフィン不変幾何では測地線的凸性を示すことが知られていた、広く使用される目的関数の多くが、Bures-Wasserstein幾何でも測地線的凸性を示す。これにより、望ましい最適化挙動が保証される。
• 実験的結果から、病的条件の悪いSPD行列において、Bures-Wasserstein幾何に基づくリーマン最適化が、アフィン不変アプローチに比べて優れた頑健性とより速い収束性を達成することが示された。
• 本研究は、特に数値的困難な領域において、Bures-Wasserstein幾何がリーマン最適化のためのより適切で頑健な選択肢であることを確認した。