[論文レビュー] Lagrangian and Hamiltonian Mechanics for Probabilities on the Statistical Manifold

Goffredo Chirco, Luigi Malagò+1 more|arXiv (Cornell University)|Sep 20, 2020

Statistical Mechanics and Entropy参考文献 22被引用数 5

ひとこと要約

本稿は、統計多様体（確率分布の多様体）上での加速自然勾配ダイナミクスを、統計バンドルと呼ばれるヒルバートバンドル構造を用いて、新しいラグランジアンおよびハミルトニアン枠組みで提示する。双対平行移動とブレグマン散発に基づいて定式化することで、一貫性のあるオイラー＝ラグランジュ方程式およびハミルトニアン方程式を導出し、非パラメトリックな確率空間への加速最適化を一般化する。これにより、統計的推論および機械学習応用における効率的な収束が可能になる。

ABSTRACT

We provide an Information-Geometric formulation of Classical Mechanics on the Riemannian manifold of probability distributions, which is an affine manifold endowed with a dually-flat connection. In a non-parametric formalism, we consider the full set of positive probability functions on a finite sample space, and we provide a specific expression for the tangent and cotangent spaces over the statistical manifold, in terms of a Hilbert bundle structure that we call the Statistical Bundle. In this setting, we compute velocities and accelerations of a one-dimensional statistical model using the canonical dual pair of parallel transports and define a coherent formalism for Lagrangian and Hamiltonian mechanics on the bundle. Finally, in a series of examples, we show how our formalism provides a consistent framework for accelerated natural gradient dynamics on the probability simplex, paving the way for direct applications in optimization, game theory and neural networks.

研究の動機と目的

• 確率分布の空間における加速最適化のための幾何学的力学枠組みの構築を目的とする。
• ユークリッド空間を超えた加速勾配法を、情報幾何的構造に埋め込むことで拡張することを目的とする。
• 双対平坦接続を用いて、統計多様体上での速度、加速度、ダイナミクスを形式化することを目的とする。
• 統計バンドルを介して変分原理と情報幾何学を統合し、確率関数上の連続時間ダイナミクスを可能にすることを目的とする。
• 自然勾配ダイナミクスを用いた統計モデル最適化のための基盤を提供することを目的とする。

提案手法

• 有限な標本空間上での正の確率関数の非パラメトリック空間として統計多様体を形式化する。
• 各ファイバーに沿った接空間および余接空間を対数微分と双対運動量によって定義するヒルバートバンドルとしての統計バンドルを導入する。
• 双対平行移動（標準的ペア）を用いて、バンドル上での一貫性のある速度および加速度を定義し、双対平坦幾何を保証する。
• カルバック・ライバラー散発に基づくラグランジアンおよびハミルトニアンをブレグマン散発から導出し、ネステロフ風加速を一般化する。
• フィッシャー情報計量と指数型分布族のパrameter化を用いて、オイラー＝ラグランジュおよびハミルトニアン系を構築する。
• 理想スケーリング条件下で得られる常微分方程式を数値的に解き、シミュレーションで収束特性を示す。

実験結果

リサーチクエスチョン

• RQ1 幾何学的力学を用いて、確率分布のリーマン多様体上での加速勾配ダイナミクスを一貫して定式化する方法は何か？
• RQ2 統計バンドルは、統計ダイナミクスにおける位置、速度、運動量を統合する役割を果たすか？
• RQ3 双対平行移動および双対平坦接続は、確率密度関数の空間における加速度の一貫性のある定義を可能にするか？
• RQ4 ブレグマンラグランジアンを用いて、情報幾何学における加速最適化法の連続時間アナロジーを導出可能か？
• RQ5 提案された枠組みは、非ユークリッド的で情報幾何的設定へのネステロフのモーメンタムをどのように一般化するか？

主な発見

• 本稿は、統計バンドル上での一貫性のあるラグランジアンおよびハミルトニアン形式を導出し、2階微分方程式を用いた加速自然勾配ダイナミクスの記述を可能にする。
• 加速度項は、双対平行移動を用いて明示的に計算され、期待値としての二乗スコアを含む幾何学的に一貫した表現が得られる。
• パラメータ a=1, b=0 のカルバック・ライバラー・ラグランジアンでは、2N次元の常微分方程式系に還元され、数値シミュレーションで安定した収束行動を示す。
• 理想スケーリング（p=2, C=0.5）下では、減衰付きKLラグランジアン系が加速収束を達成し、時間依存係数 αt と βt がモーメンタムと減衰を調整する。
• ハミルトニアン形式は、運動量の進化が対数尤度項と勾配補正項に支配される連立常微分方程式系を生じさせ、安定性と効率性を保証する。
• 図2〜4の数値解は、提案されたダイナミクスが標準的な自然勾配よりも高速に収束することを確認しており、機械学習における最適化のための枠組みの有効性を検証している。