[论文解读] Finite-Time Convergence of Continuous-Time Optimization Algorithms via Differential Inclusions

Orlando Romero, Mouhacine Benosman|arXiv (Cornell University)|Dec 18, 2019

Advanced Optimization Algorithms Research参考文献 30被引用 6

一句话总结

本文提出了一种基于微分包含和李雅普诺夫分析的非连续连续时间优化算法，以实现对代价函数严格局部极小值的有限时间收敛。通过将有限时间稳定性理论扩展至微分包含，作者设计了保证在预定、可证明的收敛时间内收敛的二阶动力系统，该方法在Rosenbrock函数上得到验证，并给出了精确的收敛时间边界。

ABSTRACT

In this paper, we propose two discontinuous dynamical systems in continuous time with guaranteed prescribed finite-time local convergence to strict local minima of a given cost function. Our approach consists of exploiting a Lyapunov-based differential inequality for differential inclusions, which leads to finite-time stability and thus finite-time convergence with a provable bound on the settling time. In particular, for exact solutions to the aforementioned differential inequality, the settling-time bound is also exact, thus achieving prescribed finite-time convergence. We thus construct a class of discontinuous dynamical systems, of second order with respect to the cost function, that serve as continuous-time optimization algorithms with finite-time convergence and prescribed convergence time. Finally, we illustrate our results on the Rosenbrock function.

研究动机与目标

• 开发在有限时间内收敛至局部极小值的连续时间优化算法，而非渐近收敛。
• 将有限时间稳定性理论从常微分方程扩展至微分包含，以处理非光滑、不连续的系统。
• 构建二阶动力系统，利用基于李雅普诺夫的微分不等式，确保预设的有限时间收敛。
• 为收敛至局部极小值提供可证明的上界和精确的收敛时间边界。
• 在基准非凸优化问题Rosenbrock函数上验证该方法。

提出的方法

• 在微分包含背景下，利用基于李雅普诺夫的微分不等式条件，实现有限时间稳定性。
• 提出两类基于梯度流和归一化梯度流的非连续二阶动力系统。
• 采用候选李雅普诺夫函数 $ V(x) = \|\nabla f(x)\|^2 $ 或 $ V(x) = \|\nabla f(x)\|_1 $ 来分析收敛行为。
• 应用Filippov解概念处理向量场中的不连续性，确保轨迹定义良好。
• 推导李雅普诺夫函数沿轨迹的导数上界，确保其在有限时间内衰减至零。
• 证明收敛时间是可证明有界的，并在精确条件下可实现精确收敛时间，从而实现预设的有限时间收敛。

实验结果

研究问题

• RQ1 能否在微分包含框架下，保证连续时间优化算法的有限时间收敛？
• RQ2 如何将基于李雅普诺夫的分析扩展至处理不连续、非利普希茨的动力系统以用于优化？
• RQ3 哪一类二阶动力系统能确保收敛至严格局部极小值，并具有可证明的收敛时间？
• RQ4 能否使收敛时间精确预设，而不仅仅是提供上界？
• RQ5 所提出的算法在如Rosenbrock函数这类非凸、具有挑战性的优化问题上表现如何？

主要发现

• 所提出的动力系统能够实现对代价函数严格局部极小值的有限时间收敛，且收敛时间具有可证明的上界。
• 当李雅普诺夫微分不等式存在精确解时，收敛时间边界为精确值，从而实现预设的有限时间收敛。
• 该方法通过微分包含适用于不连续、非利普希茨向量场，扩展了经典基于常微分方程的方法。
• 在较弱假设下（包括代价函数在极小值附近具有局部强凸性）可保证收敛。
• 分析证实，对于 $ V(x) = \|\nabla f(x)\|^2 $ 和 $ V(x) = \|\nabla f(x)\|_1 $ 均具有有限时间稳定性，且满足 $ \dot{V} \leq -c V^{\alpha} $，其中 $ \alpha < 1 $。
• 该方法在Rosenbrock函数上得到验证，结果表明其在预测的收敛时间边界内实现了有限时间收敛。