[论文解读] Geometric Methods for Sampling, Optimisation, Inference and Adaptive Agents

Alessandro Barp, Lancelot Da Costa+5 more|arXiv (Cornell University)|Mar 20, 2022

Topological and Geometric Data Analysis被引用 5

一句话总结

本文通过辛几何、信息几何和哈密顿动力学等几何结构，统一了采样、优化、推理与自适应决策。提出保持系统内在特性的几何积分器与基于Stein的方法，使机器学习与统计推断任务中的算法实现加速、稳定且可扩展。

ABSTRACT

In this chapter, we identify fundamental geometric structures that underlie the problems of sampling, optimisation, inference and adaptive decision-making. Based on this identification, we derive algorithms that exploit these geometric structures to solve these problems efficiently. We show that a wide range of geometric theories emerge naturally in these fields, ranging from measure-preserving processes, information divergences, Poisson geometry, and geometric integration. Specifically, we explain how (i) leveraging the symplectic geometry of Hamiltonian systems enable us to construct (accelerated) sampling and optimisation methods, (ii) the theory of Hilbertian subspaces and Stein operators provides a general methodology to obtain robust estimators, (iii) preserving the information geometry of decision-making yields adaptive agents that perform active inference. Throughout, we emphasise the rich connections between these fields; e.g., inference draws on sampling and optimisation, and adaptive decision-making assesses decisions by inferring their counterfactual consequences. Our exposition provides a conceptual overview of underlying ideas, rather than a technical discussion, which can be found in the references herein.

研究动机与目标

• 识别并统一采样、优化、推理与自适应决策背后的基本几何结构（如辛几何、信息几何与泊松几何）。
• 开发保持系统内在属性（如能量、散度、度量）的几何算法，以提升收敛性与稳定性。
• 通过将优化与采样形式化为哈密顿或耗散动力系统，弥合经典力学与统计学习之间的鸿沟。
• 利用几何原理与变分推断框架，实现复杂模型中可扩展、鲁棒的推理与决策。
• 将主动推理与几何控制及信息几何统一，生成能够推理反事实并高效规划的自适应智能体。

提出的方法

• 利用辛几何与几何积分器对优化与采样中的哈密顿系统进行离散化，保持能量与收敛速率。
• 通过费舍尔度量与自然梯度下降应用信息几何，提升统计流形上推理与模型优化的性能。
• 利用基于核的差异度量（如MMD、KSD）与Stein算子，构建稳健的、无需似然函数的估计器。
• 在扩展状态空间中采用自由能最小化与变分推断，将感知与决策形式化为几何优化问题。
• 引入速率匹配积分器与耗散哈密顿系统，加速光滑与约束优化中的收敛。
• 结合蒙特卡洛树搜索与反向规划，利用主动推理将决策规模扩展至长时域问题，实现线性复杂度。

实验结果

研究问题

• RQ1 如何将辛积分器与几何积分器适配于优化中的耗散系统，以保持收敛性与稳定性？
• RQ2 高效采样与推理背后的几何结构是什么？如何利用这些结构设计稳健的、无需似然函数的估计器？
• RQ3 信息几何与自然梯度方法如何提升统计流形上的优化与推理性能？
• RQ4 哈密顿动力学中的几何结构如何在高维空间中实现加速采样与优化？
• RQ5 如何利用几何原理与变分推断，在混合离散-连续状态空间中高效扩展并实现主动推理？

主要发现

• 耗散哈密顿系统的几何积分器可保持收敛速率与稳定性，使优化速度超越标准梯度方法。
• 将辛积分器应用于哈密顿蒙特卡洛可提升采样效率，通过保持相空间结构减少随机游走行为。
• 基于核的Stein差异度量（KSD）与最小Stein差异估计器，基于希尔伯特子空间与庞加莱对偶性，提供稳健的、无需似然函数的推理工具。
• 通过自由能最小化与变分推断实现的主动推理，使自适应智能体在不确定性下实现序列决策，计算复杂度呈线性增长。
• 主动推理中的反向规划与蒙特卡洛采样将计算复杂度从指数级降低至线性，实现可扩展的决策。
• 神经网络可被训练以提供变分推断的初始条件，在保持高维推理任务精度的同时降低计算成本。