[论文解读] Contraction Analysis of Geodesically Convex Optimization

Patrick M. Wensing, Jean-Jacques Slotine|arXiv (Cornell University)|Jun 18, 2018

Control and Stability of Dynamical Systems被引用 1

一句话总结

本文建立了黎曼流形上自然梯度流的测地凸性（g-凸性）与收缩性之间的等价性，使得收缩性分析工具能够被应用于发现并高效优化g-凸函数。该结果实现了对非自治系统的系统性分析，并支持复杂优化结构的模块化构建。

ABSTRACT

Optimization is central to a wide array of problems across machine learning, estimation, automatic control, design, and many other areas. Convex optimization represents a subset of these instances where problems admit global solutions, which can often be computed using off-the-shelf solvers. Recently, increased attention has focused on geodesic convexity, or g-convexity. By endowing $\mathbb{R}^n$ with a Riemannian metric, non-convex problems can be transformed into convex ones over the induced Riemannian manifold. The main contribution of this paper is to provide a bridge between g-convexity and contraction analysis of nonlinear dynamical systems. Specifically, we show the equivalence between geodesic convexity and contraction of natural gradient flows. Given this result, existing tools from analysis and synthesis of nonlinear contracting systems can be considered to both discover and efficiently optimize g-convex functions. In addition, the contraction perspective allows one to easily apply results to non-autonomous systems, and to recursively build large optimization structures out of simpler elements.

研究动机与目标

• 弥合非线性动力系统中测地凸性与收缩性分析之间的差距。
• 证明黎曼流形上的自然梯度流是收缩的，当且仅当其对应的优化问题是测地凸的。
• 使既有的收缩性分析工具能够用于发现并高效求解g-凸优化问题。
• 将这些工具的适用范围扩展至非自治系统与分层优化结构。

提出的方法

• 本文在R^n上引入一个黎曼度量，将非凸问题转化为在诱导流形上的测地凸问题。
• 定义自然梯度流为由黎曼度量与目标函数梯度所诱导的动力系统。
• 证明自然梯度流是收缩的，当且仅当目标函数关于黎曼度量是测地凸的。
• 利用收缩理论分析流的稳定性和收敛性，分析中使用黎曼海塞矩阵与度量张量。
• 通过将框架扩展至时变度量与向量场，将收缩工具应用于非自治系统。
• 通过组合收缩子系统，实现大规模优化系统的递归构建。

实验结果

研究问题

• RQ1 黎曼流形上自然梯度流的测地凸性与收缩性之间是否存在根本联系？
• RQ2 能否利用收缩性分析验证g-凸优化问题的全局收敛性？
• RQ3 如何将收缩理论扩展以处理非自治g-凸优化问题？
• RQ4 收缩子系统以何种方式可组合成更大规模且稳定的优化架构？
• RQ5 该等价性对非凸环境下优化算法的设计与分析有何影响？

主要发现

• 黎曼流形上函数的测地凸性，等价于其自然梯度流的收缩性。
• 自然梯度流的收缩性可确保全局收敛至唯一极小值点，且与初始化无关。
• 该框架可自然推广至非自治系统，使时变优化问题能够借助收缩工具进行分析。
• 该等价性使得现有收缩合成技术可用于设计新型g-凸优化算法。
• 该方法通过递归组合收缩组件，支持复杂优化系统的模块化设计。
• 该结果为将动力系统工具应用于一大类经转换为g-凸问题的非凸问题，提供了理论基础。