[論文レビュー] Geometric Methods for Sampling, Optimisation, Inference and Adaptive Agents

Alessandro Barp, Lancelot Da Costa+5 more|arXiv (Cornell University)|Mar 20, 2022

Topological and Geometric Data Analysis被引用数 5

ひとこと要約

本論文は、シンプレクティック幾何、情報幾何、ハミルトニアン力学などの幾何的構造を通じて、サンプリング、最適化、推論、適応的意思決定を統一する。幾何的積分法とスティンに基づく手法を提案し、内在的なシステム特性を保存することで、機械学習および統計的推論タスクにおいて加速され、安定的かつスケーラブルなアルゴリズムを実現する。

ABSTRACT

In this chapter, we identify fundamental geometric structures that underlie the problems of sampling, optimisation, inference and adaptive decision-making. Based on this identification, we derive algorithms that exploit these geometric structures to solve these problems efficiently. We show that a wide range of geometric theories emerge naturally in these fields, ranging from measure-preserving processes, information divergences, Poisson geometry, and geometric integration. Specifically, we explain how (i) leveraging the symplectic geometry of Hamiltonian systems enable us to construct (accelerated) sampling and optimisation methods, (ii) the theory of Hilbertian subspaces and Stein operators provides a general methodology to obtain robust estimators, (iii) preserving the information geometry of decision-making yields adaptive agents that perform active inference. Throughout, we emphasise the rich connections between these fields; e.g., inference draws on sampling and optimisation, and adaptive decision-making assesses decisions by inferring their counterfactual consequences. Our exposition provides a conceptual overview of underlying ideas, rather than a technical discussion, which can be found in the references herein.

研究の動機と目的

• サンプリング、最適化、推論、適応的意思決定の背後にある基本的な幾何的構造（シンプレクティック幾何、情報幾何、ポisson幾何など）を特定し、統一すること。
• 内在的なシステム特性（例：エネルギー、発散、計量）を保存する幾何的アルゴリズムを開発し、収束性と安定性を向上させること。
• 古典的力学と統計的学習を結びつけるために、最適化とサンプリングをハミルトニアン系または散逸的力学系として定式化すること。
• 幾何的原理と変分推論フレームワークを用いて、複雑なモデルにおけるスケーラブルで頑健な推論と意思決定を可能にすること。
• アクティブ推論を幾何的制御と情報幾何と統合し、反事後的推論と効率的な計画を可能にする適応的エージェントを実現すること。

提案手法

• 最適化およびサンプリングにおけるハミルトニアン系の離散化に、シンプレクティックおよび幾何的積分法を活用し、エネルギーと収束速度を保存する。
• フィッシャー計量と自然勾配降下法を用いて情報幾何を応用し、統計多様体上での推論とモデル最適化を改善する。
• カーネルベースの乖離（例：MMD、KSD）とスティン作用素を用いて、統計的推論におけるロバストで尤度フリーな推定量を構築する。
• 拡張された状態空間における自由エネルギー最小化と変分推論を用いて、知覚と意思決定を幾何的最適化として定式化する。
• レートマッチング積分法と散逸的ハミルトニアン系を導入し、滑らかで制約付き最適化における収束を加速する。
• モンテカルロ木探索とバックワードプランニングをアクティブ推論と統合し、線形計算量で長時間スケジューリング問題にスケーリング可能な意思決定を実現する。

実験結果

リサーチクエスチョン

• RQ1 散逸的系における最適化において、シンプレクティックおよび幾何的積分法をどのように適合させ、収束性と安定性を維持できるか？
• RQ2 効率的サンプリングと推論の背後にある幾何的構造は何か？ そして、それらを活用してロバストで尤度フリーな推定量を設計できるか？
• RQ3 情報幾何と自然勾配法は、統計多様体上での最適化と推論をどのように改善できるか？
• RQ4 ハミルトニアン力学における幾何的構造は、高次元空間におけるサンプリングと最適化をどのように加速できるか？
• RQ5 ハイブリッド離散連続状態空間において、幾何的原理と変分推論を用いてアクティブ推論をどのようにスケーリングし、効率的に実装できるか？

主な発見

• 散逸的ハミルトニアン系に対する幾何的積分法は、収束速度と安定性を保持し、標準的勾配法を上回る加速最適化を可能にする。
• ハミルトニアンモンテカルロにシンプレクティック積分法を適用することで、元の位相空間構造を保存し、ランダムウォーク行動を低減することで、より効率的なサンプリングが実現される。
• カーネルスティン乖離（KSD）と最小スティン乖離推定量は、ヒルバート部分空間とポアンカレ双対性に裏打ちされたロバストで尤度フリーな推論ツールを提供する。
• 自由エネルギー最小化と変分推論を用いたアクティブ推論により、線形計算スケーリングで不確実性下での逐次的意思決定が可能になり、適応的エージェントが実現される。
• アクティブ推論におけるバックワードプランニングとモンテカルロサンプリングにより、アクション列長に対する計算複雑度が指数的から線形に低下し、スケーラブルな意思決定が可能になる。
• ニューラルネットワークを用いて変分推論の初期条件を提供することで、高次元推論タスクにおける計算コストを削減しつつ、精度を維持できる。