[论文解读] From Contraction Theory to Fixed Point Algorithms on Riemannian and Non-Euclidean Spaces

Francesco Bullo, Pedro Cisneros‐Velarde+2 more|arXiv (Cornell University)|Oct 7, 2021

Control and Stability of Dynamical Systems参考文献 18被引用 3

一句话总结

本文通过引入弱配对（weak pairings）和矩阵测度，统一了欧氏空间、黎曼空间及非欧空间（特别是 ℓ1 和 ℓ∞ 范数）下的收缩理论与定点算法。建立了显式与隐式定点算法的收敛因子，表明在非欧空间中，最优步长与收缩率与欧氏空间中的对应值存在显著差异，给出了 ℓ1 和 ℓ∞ 范数下的显式结果，并提出了关于加速与非光滑推广的猜想。

ABSTRACT

The design of fixed point algorithms is at the heart of monotone operator theory, convex analysis, and of many modern optimization problems arising in machine learning and control. This tutorial reviews recent advances in understanding the relationship between Demidovich conditions, one-sided Lipschitz conditions, and contractivity theorems. We review the standard contraction theory on Euclidean spaces as well as little-known results for Riemannian manifolds. Special emphasis is placed on the setting of non-Euclidean norms and the recently introduced weak pairings for the $\ell_1$ and $\ell_\infty$ norms. We highlight recent results on explicit and implicit fixed point schemes for non-Euclidean contracting systems.

研究动机与目标

• 统一欧氏、黎曼及非欧空间下的收缩理论与定点算法，特别针对 ℓ1 和 ℓ∞ 范数。
• 通过弱配对将收缩理论从光滑黎曼流形推广至非光滑、多面体范数（如 ℓ1 和 ℓ∞）。
• 推导非欧空间中显式与隐式定点算法的显式收敛因子与最优步长。
• 建立非欧空间中 Demidovich 条件、单边利普希茨条件与收缩定理之间的联系。
• 通过提出关于加速与非光滑向量场收敛性的开放猜想，激发进一步研究。

提出的方法

• 使用弱配对（WPs）将收缩理论推广至非光滑、多面体范数（如 ℓ1 与 ℓ∞），从而能够分析不可微系统。
• 应用矩阵测度 µp,R(A) = µp(RAR−1) 量化非欧范数下的收缩速率，其中 µ1 与 µ∞ 通过基于符号的不等式与基于最大值的不等式定义。
• 利用微分单边利普希茨（d-osL）条件，推导显式欧拉法、显式外梯度法与隐式欧拉法的收敛界。
• 采用上右上 Dini 导数 D+ 分析增量稳定性与轨迹间距离的指数衰减。
• 使用隐式欧拉格式 xk+1 = xk + αf(xk+1)，证明其在 c-强收缩条件下为收缩映射，收缩因子为 (1 + αc)−1。
• 应用牛顿-拉夫森迭代求解隐式方程，证明在 αℓ < 1 条件下具有局部二次收敛性。

实验结果

研究问题

• RQ1 如何通过弱配对将收缩理论推广至 ℓ1 与 ℓ∞ 等非欧范数？
• RQ2 在 ℓ1 与 ℓ∞ 范数下，显式与隐式定点算法的最优步长与收缩因子为何？
• RQ3 非欧空间中的收敛速率与欧氏空间相比如何，特别是对显式与外梯度方法？
• RQ4 隐式格式的牛顿-拉夫森迭代是否可保证全局收敛，而不仅限于局部收敛？
• RQ5 非欧空间中定点算法是否存在加速潜力？最优收敛因子是否按 1 − 1/κ 的方式缩放？

主要发现

• 对于 ℓ1 范数，显式欧拉法的最优步长为 α∗_nE = 1/c(1/(2κ²) − 3/(8κ³) + O(1/κ⁴))，最小收缩因子为 ℓ∗_nE = 1 − 1/(4κ²) + 1/(8κ³) + O(1/κ⁴)，其性能比欧氏情形差约两倍，并伴有更高阶项影响。
• 在弱配对空间中，隐式欧拉法对任意 α > 0 均为收缩映射，收缩因子为 (1 + αc)−1，确保全局收敛至唯一平衡点。
• 对外梯度法，当 α = 1/(2cκ√κ) 时，收敛因子为 1 − 3/(8κ√κ) + O(1/κ³)，表明其相比标准显式方法具有加速收敛特性。
• 系统 ẋ = Ax + b，其中 A = [[-10, 2.5], [9, -3]]，在 ℓ2 范数下不满足收缩性（因 µ2(A) = 0.231 > 0），但在 ℓ1 范数下以速率 0.5 强收缩，且 ∥A∥1 = 12.5，依据定理 8 可实现收敛。
• 牛顿-拉夫森迭代在求解隐式方程时，当 αℓ < 1 且初始条件有界时，收敛速度为二次收敛，但全局收敛性仍为开放猜想。
• 本文证明了强单调算子与强凸函数的梯度场，在适当的符号与范数变换下，等价于强收缩向量场。