[论文解读] Consensus-based optimization methods converge globally in mean-field law.

Massimo Fornasier, Timo Klock+1 more|arXiv (Cornell University)|Mar 28, 2021

Distributed Control Multi-Agent Systems参考文献 29被引用 11

一句话总结

本文在均场定律下，针对一大类非凸、非光滑且局部Lipschitz连续的目标函数，建立了共识优化（CBO）的全局收敛性，证明其可收敛至全局最小值点。通过引入一种新颖的分析技术，该技术基于到最小值点的平方距离的梯度下降行为，证明当智能体数量趋于无穷时，CBO能有效实现优化问题的凸化，且仅需最简化的初始化假设。

ABSTRACT

In this paper we study consensus-based optimization (CBO), which is a multi-agent metaheuristic derivative-free optimization method that can globally minimize nonconvex nonsmooth functions and is amenable to theoretical analysis. Based on an experimentally supported intuition that CBO always performs a gradient descent of the squared Euclidean distance to the global minimizer, we derive a novel technique for proving the convergence to the global minimizer in mean-field law for a rich class of objective functions. The result unveils internal mechanisms of CBO that are responsible for the success of the method. In particular, we prove that CBO performs a convexification of a very large class of optimization problems as the number of optimizing agents goes to infinity. Furthermore, we improve prior analyses by requiring minimal assumptions about the initialization of the method and by covering objectives that are merely locally Lipschitz continuous. As a by-product of the analysis, we establish a quantitative nonasymptotic Laplace principle, which may be of independent interest.

研究动机与目标

• 从理论上证明共识优化（CBO）在非凸和非光滑目标函数下的全局收敛性。
• 通过基于全局最小值点距离动力学的新分析框架，解释CBO成功背后的内在机制。
• 减少对初始化的假设，并将收敛性保证扩展至仅局部Lipschitz连续的目标函数。
• 作为分析的副产品，建立一个定量的非渐近Laplace原理，其潜在应用价值可能超越CBO本身。

提出的方法

• 提出一种新颖的分析技术，其核心观察为：CBO会诱导对全局最小值点的欧氏距离的平方执行梯度下降。
• 分析当智能体数量趋于无穷时CBO的均场极限，将系统建模为随时间演化的概率测度。
• 利用均场定律，证明在初始化假设最小化的前提下，系统弱收敛于以全局最小值点为中心的Dirac测度。
• 证明在均场极限下，CBO对一大类非凸问题实现了某种形式的凸化。
• 应用随机分析与大偏差理论的工具，推导出具有显式定量边界的非渐近Laplace原理。
• 以目标函数的局部Lipschitz连续性作为最低正则性条件，扩展了先前的分析。

实验结果

研究问题

• RQ1 在最小假设下，如何严格证明CBO对非凸和非光滑目标函数的全局收敛性？
• RQ2 CBO的内部动力学机制是什么，使其能有效避免局部极小值并实现全局收敛？
• RQ3 在均场极限下，CBO在多大程度上能有效凸化非凸优化问题？
• RQ4 能否从CBO动力学中推导出一个定量的非渐近Laplace原理？其意义何在？
• RQ5 CBO的收敛行为在多大程度上依赖于智能体的初始化？

主要发现

• 对于一大类非凸、非光滑且局部Lipschitz连续的目标函数，CBO在均场极限下可全局收敛至全局最小值点。
• 随着智能体数量的增加，该方法能有效凸化优化问题，从而实现全局收敛。
• 在初始化假设最小化的前提下建立了收敛性，显著优于先前的分析。
• 分析过程导出了一个定量的非渐近Laplace原理，提供了以智能体数量为变量的收敛速率显式边界。
• 其核心机制是全局最小值点距离平方的梯度下降，该机制在证明中被严格推导并加以利用。
• 即使目标函数不可微，该结果依然成立，仅依赖于局部Lipschitz连续性这一条件。