[論文レビュー] Operator-valued formulas for Riemannian Gradient and Hessian and families of tractable metrics in optimization and machine learning

Du Nguyễn|arXiv (Cornell University)|Sep 21, 2020

Topological and Geometric Data Analysis被引用数 5

ひとこと要約

本稿では、非定数の内積空間に埋め込まれた接空間を有する多様体におけるリーマン勾配およびヘッシアンの作用素値式を提示する。これは射影に基づくリーマン接続を活用しており、Stiefel多様体、低ランク正定値半定値行列、フラッグ多様体における新しい種類の計量に対して、閉形式の測地線および最適化量の記号的計算を可能にする。これにより、最適化および機械学習における取り扱える計量の範囲が著しく拡張される。

ABSTRACT

We provide an explicit formula for the Levi-Civita connection and Riemannian Hessian when the {\it tangent space} at each point of a Riemannian manifold is embedded in an inner product space with a non-constant metric. Together with a classical formula for projection, this allows us to evaluate Riemannian gradient and Hessian for several families of metric extending existing ones on classical manifolds: a family of metrics on Stiefel manifolds connecting both the constant and canonical ambient metrics with closed-form geodesics; a family of quotient metrics on a manifold of positive-semidefinite matrices of fixed rank, considered as a quotient of a product of Stiefel and positive-definite matrix manifold with affine-invariant metrics; a large family of new metrics on flag manifolds. We show in many instances, this method allows us to apply symbolic calculus to derive formulas for the Riemannian gradient and Hessian. The method greatly extends the list of potential metrics that could be used in manifold optimization and machine learning.

研究の動機と目的

• 既存の標準的・定数計量を超えて、最適化および機械学習における取り扱えるリーマン計量の範囲を拡張すること。
• 接空間が非定数計量を有する内積空間に埋め込まれた場合のリーマン接続およびリーマンヘッシアンの明示的式を導出すること。
• Stiefel多様体、低ランク正定値半定値行列、フラッグ多様体を含む新しい種類の多様体において、リーマン勾配およびヘッシアンの記号的計算を可能にする。
• Stiefel多様体上で定数計量と標準的環境計量の間を補間する、閉形式の測地線を有する計量族を構築すること。
• 積多様体からのアフィン不変構造を用いて、固定ランク正定値半定値行列上の商計量を構築すること。

提案手法

• 非定数計量を有する環境内積空間に埋め込まれた接空間への射影を用いて、リーマン接続を導出する。
• 古典的な射影公式を適用し、リーマンヘッシアンを環境計量および接空間の幾何学的性質で表現する。
• 作用素値表現を用いて計量、勾配、ヘッシアンを表現し、記号的変換および閉形式評価を可能にする。
• 定数計量と標準的環境計量の間を補間する方法により、Stiefel多様体上の新しい計量族を構築し、閉形式の測地線を導出する。
• 積多様体（Stiefel多様体と正定値多様体の積）にアフィン不変計量を導入し、固定ランク正定値半定値行列上の商計量を定義する。
• フレームワークをフラッグ多様体に適用し、最適化に適した多数の新しいリーマン計量族を導入する。

実験結果

リサーチクエスチョン

• RQ1 接空間に非定数の作用素値計量を有する多様体に対して、リーマンヘッシアンおよび勾配を体系的にどのように計算できるか。
• RQ2 Stiefel多様体上で、閉形式の測地線を有し、最適化量の記号的計算を可能にする計量の族は何か。
• RQ3 固定ランク正定値半定値行列上の商計量は、アフィン不変構造を用いて構築可能か。また、環境内積空間に埋め込めるか。
• RQ4 提案された作用素値フレームワークを用いて、フラッグ多様体上でどのような新しい種類の取り扱える計量を定義できるか。
• RQ5 射影に基づくリーマン接続の公式は、多様体最適化における既存の手法をどの程度一般化するか。

主な発見

• 本稿では、非定数環境計量を有する接空間への射影を用いて、一般の作用素値式によるリーマンヘッシアンおよび勾配の導出に成功した。
• 定数計量と標準的環境計量の間を補間する計量族をStiefel多様体上に構築し、閉形式の測地線を導出した。
• 積多様体構成とアフィン不変計量を用いて、固定ランク正定値半定値行列上の商計量を定義し、最適化に適した形式を達成した。
• Stiefel多様体、低ランク正定値半定値行列、フラッグ多様体を含む、多数の多様体タイプにおいて、リーマン最適化量の記号的計算をサポートするフレームワークを提供した。
• 閉形式表現および効率的な計算を可能にするため、最適化および機械学習に適したリーマン計量の集合を著しく拡張した。
• 非自明で非定数計量を有する多様体に対して、リーマンヘッシアンおよび勾配の公式を統一的に導出するフレームワークを提供した。