[論文レビュー] Positive definite matrices and the Symmetric Stein Divergence

Suvrit Sra|arXiv (Cornell University)|Oct 8, 2011

Mathematical Inequalities and Applications被引用数 45

ひとこと要約

本稿では、正定値行列のコーン上に定義される、距離に類似した新しい関数、S-Divergence を導入する。S-Divergence は距離の二乗であり、リーマン距離が持つ主要な幾何的性質を継承するが、計算がより効率的である。非凸性を有するが、理論的分析と数値実験により、行列の平均値および中央値のグローバル最適化が可能である。

ABSTRACT

Positive definite matrices abound in a dazzling variety of applications. This ubiquity can be in part attributed to their rich geometric structure: positive definite matrices form a self-dual convex cone whose strict interior is a Riemannian manifold. The manifold view is endowed with a natural distance function while the conic view is not. Nevertheless, drawing motivation from the conic view, we introduce the S-Divergence as a natural distance-like function on the open cone of positive definite matrices. We motivate the S-divergence via a sequence of results that connect it to the Riemannian distance. In particular, we show that (a) this divergence is the square of a distance; and (b) that it has several geometric properties similar to those of the Riemannian distance, though without being computationally as demanding. The S-divergence is even more intriguing: although nonconvex, we can still compute matrix means and medians using it to global optimality. We complement our results with some numerical experiments illustrating our theorems and our optimization algorithm for computing matrix medians.

研究の動機と目的

• 正定値行列の多様体上でのリーマン距離の計算効率の良い代替を提供すること。
• 正定値行列のコーン構造から得られる幾何的洞察を、実用的な距離に類する関数と結びつけること。
• 非凸発散度としての S-Divergence の有用な幾何的・代数的性質を活用し、行列の平均値および中央値のグローバル最適化を可能にすること。
• S-Divergence とリーマン距離との間の理論的関係を確立し、同様の幾何的挙動を示す二乗距離に類似した性質を持つことを示すこと。

提案手法

• 正定値行列のコーン構造に基づき、自己双対凸コーンの幾何的性質を出発点として、S-Divergence を発散関数として定義する。
• S-Divergence が距離の二乗であることを証明し、距離に類する関数としての基盤を確立する。
• S-Divergence がリーマン距離と同様に、対称性や特定の行列変換における不変性といった、主要な幾何的性質を共有することを示す。
• S-Divergence の構造を活用して、非凸性にもかかわらずグローバル最適性を保証する行列の平均値および中央値の計算のための最適化アルゴリズムを開発する。
• 数値実験を通じて理論的結果を検証し、提案された最適化手法の効率性と正確性を示す。

実験結果

リサーチクエスチョン

• RQ1 正定値行列のコーン構造から、リーマン距離の二乗に類似した性質を示すが、計算コストが低い発散度を構築できるか？
• RQ2 S-Divergence は、対称性や不変性といった、リーマン距離の本質的幾何的性質を保持するか？
• RQ3 非凸発散度としての S-Divergence を用いて、行列の平均値および中央値をグローバル最適に計算することが可能か？
• RQ4 計算コストと幾何的忠実性の観点から、S-Divergence はリーマン距離とどのように比較できるか？

主な発見

• S-Divergence が距離の二乗であることが証明され、正定値行列の開コーン上に有効な距離に類する関数としての地位を確立した。
• S-Divergence は、計算負荷が低いにもかかわらず、リーマン距離と同様に、対称性や合同変換における不変性といった幾何的性質を継承している。
• S-Divergence が非凸であるにもかかわらず、本稿では、この発散度を用いて行列の平均値および中央値をグローバル最適に計算できることを示した。
• 数値実験により理論的主張が確認され、提案された最適化アルゴリズムが効率的かつ正確に最適解に収束することが示された。