[论文解读] Consensus-Based Optimization Methods Converge Globally

Massimo Fornasier, Timo Klock+1 more|arXiv (Cornell University)|Mar 28, 2021

Distributed Control Multi-Agent Systems被引用 5

一句话总结

该论文通过证明在平均场极限下的收敛性，建立了共识优化（CBO）在一大类非凸、非光滑目标函数上的全局收敛性。关键洞见在于，CBO智能体通过一个朝向共识点收缩的漂移项，执行对全局最小值点的平均梯度下降，同时通过随机扩散实现探索，从而在最小假设下实现可证明的多项式时间收敛。

ABSTRACT

In this paper, we study consensus-based optimization (CBO), which is a multi-agent metaheuristic derivative-free optimization method that can globally minimize nonconvex nonsmooth functions and is amenable to theoretical analysis. Based on an experimentally supported intuition that, on average, CBO performs a gradient descent of the squared Euclidean distance to the global minimizer, we devise a novel technique for proving the convergence to the global minimizer in mean-field law for a rich class of objective functions. The result unveils internal mechanisms of CBO that are responsible for the success of the method. In particular, we prove that CBO performs a convexification of a large class of optimization problems as the number of optimizing agents goes to infinity. Furthermore, we improve prior analyses by requiring mild assumptions about the initialization of the method and by covering objectives that are merely locally Lipschitz continuous. As a core component of this analysis, we establish a quantitative nonasymptotic Laplace principle, which may be of independent interest. From the result of CBO convergence in mean-field law, it becomes apparent that the hardness of any global optimization problem is necessarily encoded in the rate of the mean-field approximation, for which we provide a novel probabilistic quantitative estimate. The combination of these results allows to obtain probabilistic global convergence guarantees of the numerical CBO method.

研究动机与目标

• 建立共识优化（CBO）在非凸、非光滑目标函数上的全局收敛性，以达到全局最小值。
• 放宽先前对初始化和正则性的假设，仅要求目标函数具有局部利普希茨连续性。
• 通过量化平均场近似率，弥合平均场极限与有限粒子数值方案之间的差距。
• 为CBO提供完整的收敛性证明，并实现可证明的多项式时间复杂度，解决先前元启发式分析中的一个关键局限。

提出的方法

• 提出一种新颖的平均场分析框架，研究当智能体数量 N → ∞ 时CBO智能体的动力学行为。
• 引入一种定量的非渐近拉普拉斯原理，用于估计平均场极限下的收敛速率。
• 将智能体动力学分析为对全局最小值点距离平方的平均梯度流，解释CBO的鲁棒性。
• 通过有限智能体与平均场过程的经验测度之间的耦合论证，界定近似误差。
• 应用格朗沃尔不等式，控制平均场近似过程中误差在时间上的传播。
• 通过结合平均场收敛性与近似速率的概率估计，建立数值CBO方案的收敛性。

实验结果

研究问题

• RQ1 在初始化和正则性假设最小化的前提下，CBO能否对非凸、非光滑目标函数实现全局最小化？
• RQ2 CBO的平均场极限与有限粒子数值方案在收敛速率方面有何关系？
• RQ3 CBO内部何种机制使其能够避免局部极小值，并在复杂能量景观下实现全局收敛？
• RQ4 能否推导出一种定量的、非渐近的拉普拉斯原理，以界定平均场近似误差？
• RQ5 在所推导的收敛性保证下，CBO方法的计算复杂度是多少？

主要发现

• 在最小假设下，CBO可全局收敛至唯一全局最小值点：仅需目标函数具有局部利普希茨连续性，且对初始智能体分布的集中度无严格要求。
• 该方法在平均场极限下实现了优化问题的凸化，有效将非凸景观转化为围绕全局最小值点的类似凸的动力学。
• 推导出一种新颖的定量非渐近拉普拉斯原理，该原理量化了平均场近似的速率，对随机分析具有独立研究价值。
• 证明了平均场近似的收敛速率具有概率有界性，从而可为数值CBO方案推导出多项式时间复杂度保证。
• 该证明通过弥合平均场极限与实际数值实现之间的鸿沟，建立了有限粒子CBO方法的全局收敛性。
• 分析表明，CBO的全局收敛性由对全局最小值点的平均漂移驱动，使其对局部能量波动具有鲁棒性，并在各类问题中表现出高度通用性。