[论文解读] Gradient is All You Need? How Consensus-Based Optimization can be Interpreted as a Stochastic Relaxation of Gradient Descent

Konstantin Riedl, Timo Klock+2 more|arXiv (Cornell University)|Jun 16, 2023

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

本文建立了一种类共识优化（CBO）与随机梯度下降（SGD）之间的新颖理论联系，将CBO解释为梯度下降的随机松弛。通过利用粒子通信以及结合拉普拉斯原理与最小化运动方案的新型非光滑分析，证明了CBO在非光滑和非凸函数下可实现全局收敛至全局最小值。

ABSTRACT

In this paper, we provide a novel analytical perspective on the theoretical understanding of gradient-based learning algorithms by interpreting consensus-based optimization (CBO), a recently proposed multi-particle derivative-free optimization method, as a stochastic relaxation of gradient descent. Remarkably, we observe that through communication of the particles, CBO exhibits a stochastic gradient descent (SGD)-like behavior despite solely relying on evaluations of the objective function. The fundamental value of such link between CBO and SGD lies in the fact that CBO is provably globally convergent to global minimizers for ample classes of nonsmooth and nonconvex objective functions. Hence, on the one side, we offer a novel explanation for the success of stochastic relaxations of gradient descent by furnishing useful and precise insights that explain how problem-tailored stochastic perturbations of gradient descent (like the ones induced by CBO) overcome energy barriers and reach deep levels of nonconvex functions. On the other side, and contrary to the conventional wisdom for which derivative-free methods ought to be inefficient or not to possess generalization abilities, our results unveil an intrinsic gradient descent nature of heuristics. Instructive numerical illustrations support the provided theoretical insights.

研究动机与目标

• 通过将CBO与随机梯度下降联系起来，为基于梯度的学习提供新的分析视角。
• 解释为何无需显式计算梯度的零阶方法（如CBO）仍能实现全局收敛。
• 通过揭示其内在的梯度下降本质，挑战传统观点中认为零阶方法缺乏泛化能力或效率的看法。
• 为CBO在复杂非凸景观中通过随机扰动实现成功导航提供严格的理论基础。
• 通过非光滑变分框架，统一平均场PDE动力学与离散粒子系统的洞见。

提出的方法

• 通过在最小化运动方案下分析粒子动力学，将CBO解释为梯度下降的随机松弛。
• 采用拉普拉斯原理的新型定量版本（对数和指数技巧）以处理非光滑目标函数。
• 利用最小化运动方案（近端迭代）推导离散CBO动力学的连续时间近似。
• 将一致性点 $x_{eta}^{oldsymbol{ ho}}$ 分析为粒子位置的加权平均，权重基于目标函数负值的指数形式。
• 通过概率与矩估计，控制CBO迭代与连续时间近似（CH方案）之间距离的界，从而建立收敛性。
• 应用马尔可夫不等式与集中度不等式，控制偏离期望收敛行为的概率。

实验结果

研究问题

• RQ1 尽管CBO是无导数方法，能否将其解释为梯度下降的随机松弛？
• RQ2 CBO在非凸与非光滑设置下实现全局收敛至全局最小值的理论机制是什么？
• RQ3 CBO中的随机扰动如何实现从局部极小值与势垒中有效逃离，从而在非凸景观中取得成功？
• RQ4 CBO在多大程度上继承了随机梯度下降的收敛性质？这一关系如何被正式建立？
• RQ5 粒子一致性机制在赋予CBO类似梯度下降行为方面起到何种作用？

主要发现

• CBO对于一大类非光滑与非凸目标函数，可被严格证明实现全局收敛至全局最小值。
• CBO中的一致性机制通过粒子通信与位置的加权平均，诱导出类似随机梯度下降的行为。
• 拉普拉斯原理的定量版本使得在CBO框架下分析非光滑目标函数成为可能。
• 最小化运动方案为离散CBO动力学提供了变分基础，将其与连续时间梯度流联系起来。
• CBO中的随机扰动允许有效逃离局部极小值与势垒，从而解释其在复杂非凸景观中的成功。
• 理论界表明，在适当参数选择下，离散CBO迭代以高概率收敛至连续时间近似（CH方案）。