[論文レビュー] Mirrorless Mirror Descent: A More Natural Discretization of Riemannian Gradient Flow.

Suriya Gunasekar, Blake Woodworth+1 more|arXiv (Cornell University)|Apr 2, 2020

Geometric Analysis and Curvature Flows参考文献 14被引用数 6

ひとこと要約

本稿では、ポテンシャル関数のヘッセ行列から導かれる計量テンソルを用いたリーマン幾何的勾配フローの新規離散化手法であるMirrorless Mirror Descentを提案する。これは、自然勾配降下法よりも幾何的に忠実な代替手法を提供する。Mirror Descentを完全な前進オイラー法ではなく、部分的離散化とみなすことで、ヘッセ行列に基づく計量を超えて一般化され、双対空間への依存が不要となり、任意のリーマン幾何に応用可能になる。

ABSTRACT

We present a direct (primal only) derivation of Mirror Descent as a partial discretization of gradient flow on a Riemannian manifold where the metric tensor is the Hessian of the Mirror Descent potential function. We argue that this discretization is more faithful to the geometry than Natural Gradient Descent, which is obtained by a full forward Euler discretization. This view helps shed light on the relationship between the methods and allows generalizing Mirror Descent to any Riemannian geometry, even when the metric tensor is not a Hessian, and thus there is no dual.

研究の動機と目的

• Mirror Descentを完全な前進オイラー法ではなく、リーマン勾配フローの部分的離散化として再定式化すること。
• この部分的離散化が、自然勾配降下法よりも幾何的構造をより忠実に保持することを示すこと。
• ヘッセ行列に基づく計量を超えて、Mirror Descentを任意のリーマン幾何に一般化すること。
• 完全なヘッセ行列に基づく計量の仮定を避けることで、双対空間への依存を排除すること。
• リーマンフローの離散化を通じて、Mirror Descentと自然勾配降下法の統一的幾何的解釈を提供すること。

提案手法

• ポテンシャル関数のヘッセ行列を計量テンソルとするリーマン勾配フローの部分的離散化により、Mirror Descentを導出する。
• 半陰的オイラー法を用いてフローを離散化し、完全な前進オイラー法よりもリーマン構造をより正確に保持する。
• 双対変数や双対幾何を避けて、直接的に原始空間で更新則を定式化する。
• 得られた手法がヘッセ計量下で標準的なMirror Descentと同等であることを示し、計量がヘッセでない場合にはより一般化される。
• ポテンシャル関数が存在しない場合や双対空間が定義されない場合でも、任意のリーマン計量にこの枠組みを一般化する。
• フローの幾何的構造と得られるアルゴリズムの収束性の間の関係を確立する。

実験結果

リサーチクエスチョン

• RQ1 リーマン勾配フローの部分的離散化は、完全な前進オイラー法に比べて、幾何的構造をどれほど忠実に保持するか？
• RQ2 Mirror Descentは、自然勾配降下法よりも幾何的に忠実なリーマンフローの離散化として導出可能か？
• RQ3 計量テンソルがヘッセ行列でない場合のMirror Descentの幾何的解釈は何か？
• RQ4 双対空間が存在しないリーマン幾何に、Mirror Descentの枠組みを拡張可能か？
• RQ5 この新しい導出法が、最適化アルゴリズムの収束性および安定性に与える影響は何か？

主な発見

• Mirror Descentは、リーマン勾配フローの部分的離散化として自然に導かれ、自然勾配降下法よりも幾何的に一貫性のある解釈を提供する。
• 計量テンソルがヘッセ行列でない場合でも、この手法は有効であり、標準的なMirror Descentの設定を超えて一般化される。
• 双対空間が存在しないことは制限にならず、リーマン計量のみを用いて原始空間で完全に動作する。
• 提案された枠組みにより、Mirror Descentと自然勾配降下法が共通の幾何的フローの視点から統一的に解釈できる。
• このアプローチにより、標準的双対表現を持たないリーマン多様体に対しても、Mirror Descentを原理的かつ一貫して拡張可能である。
• 部分的離散化は、完全な前進オイラー法よりも内因的な幾何をよりよく保持し、より安定で解釈可能な最適化ダイナミクスをもたらす。