[论文解读] A consensus-based global optimization method with adaptive momentum estimation

Jingrun Chen, Shi Jin+1 more|arXiv (Cornell University)|Dec 9, 2020

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文提出 Adam-CBO，一种无需梯度的全局优化方法，结合了基于共识的优化（CBO）与来自 Adam 的自适应动量估计。该方法在最小化 1000 维 Rastrigin 函数时实现了 100% 的成功率，并在使用 |x|^{0.5} 等不可微激活函数求解具有低正则性解的偏微分方程（PDE）时优于 Adam，展现出在高维、非凸问题中的线性可扩展性与鲁棒性。

ABSTRACT

Objective functions in large-scale machine-learning and artificial intelligence applications often live in high dimensions with strong non-convexity and massive local minima. First-order methods, such as the stochastic gradient method and Adam, are often used to find global minima. Recently, the consensus-based optimization (CBO) method has been introduced as one of the gradient-free optimization methods and its convergence is proven with dimension-dependent parameters, which may suffer from the curse of dimensionality. By replacing the isotropic geometric Brownian motion with the component-wise one, the latest improvement of the CBO method is guaranteed to converge to the global minimizer with dimension-independent parameters, although the initial data need to be well-chosen. In this paper, based on the CBO method and Adam, we propose a consensus-based global optimization method with adaptive momentum estimation (Adam-CBO). Advantages of the Adam-CBO method include: (1) capable of finding global minima of non-convex objective functions with high success rates and low costs; (2) can handle non-differentiable activation functions and thus approximate low-regularity functions with better accuracy. The former is verified by approximating the $1000$ dimensional Rastrigin function with $100\%$ success rate at a cost only growing linearly with respect to the dimensionality. The latter is confirmed by solving a machine learning task for partial differential equations with low-regularity solutions where the Adam-CBO method provides better results than the state-of-the-art method Adam. A linear stability analysis is provided to understand the asymptotic behavior of the Adam-CBO method.

研究动机与目标

• 解决在具有海量局部极小值的高维、非凸机器学习问题中的全局优化挑战。
• 通过实现与维度无关的收敛参数，克服基于共识的优化（CBO）中的维数灾难问题。
• 在梯度方法失效的非可微目标函数和低正则性 PDE 解中，实现有效优化。
• 通过将自适应动量估计整合进 CBO，提升高维全局优化中的收敛性与成功率。
• 为具有非光滑或不可微损失函数的问题提供一种鲁棒且可扩展的替代 Adam 的方法。

提出的方法

• 将来自 Adam 的自适应动量估计整合进基于共识的优化（CBO）框架，以增强收敛性与稳定性。
• 将标准 CBO 中的各向同性几何布朗运动替换为分量独立的随机过程，以确保与维度无关的收敛性。
• 采用粒子群动力学，使 N 个粒子向由目标函数值加权的共识点演化。
• 通过指数平均计算梯度的一阶与二阶矩估计，实现自适应学习率。
• 通过依赖粒子相互作用与目标函数评估而非显式梯度计算，保持无梯度运算。
• 采用线性稳定性分析，以理解 Adam-CBO 方法的渐近行为与收敛特性。

实验结果

研究问题

• RQ1 基于共识的方法结合自适应动量估计，能否在具有与维度无关参数的高维、非凸优化问题中实现全局收敛？
• RQ2 Adam-CBO 在最小化高维非凸函数（如 1000 维 Rastrigin 函数）时表现如何？
• RQ3 Adam-CBO 能否有效优化使用不可微激活函数（如 |x|^{0.5}）的问题，其中梯度方法失效？
• RQ4 在求解具有低正则性解的 PDE 时，Adam-CBO 与 Adam 相比表现如何，特别是在逼近精度方面？
• RQ5 Adam-CBO 在大规模优化任务中，其计算成本如何随维度变化而扩展？

主要发现

• Adam-CBO 在最小化 1000 维 Rastrigin 函数时实现了 100% 的成功率，且计算成本随维度线性增长。
• 该方法在求解具有低正则性解的 PDE 时优于 Adam，在 2D 中使用 |x|^{0.5} 激活函数时达到 3.96×10⁻³ 的 L² 误差，在 4D 中为 3.13×10⁻³。
• 使用不可微的 |x|^{0.5} 激活函数在低正则性 PDE 中对奇异解的逼近效果优于 ReLU、ReQu 或 Sigmoid。
• 在多个维度下，Adam-CBO 在 L² 与 L∞ 范数中均表现出优于 Adam 的收敛稳定性与更低的误差率。
• 线性稳定性分析证实了 Adam-CBO 的渐近收敛行为，支持其在高维设置下的鲁棒性。
• 该方法在高维、非凸且非光滑的优化景观中仍能保持低计算成本与高成功率。