[论文解读] A consensus-based global optimization method for high dimensional machine learning problems

José A. Carrillo, Shi Jin+2 more|arXiv (Cornell University)|Sep 19, 2019

Stochastic Gradient Optimization Techniques参考文献 41被引用 11

一句话总结

该论文通过用分量噪声替代各向同性布朗运动并采用小批量平均，提出了一种适用于高维机器学习问题的维度无关一致性优化方法。该方法在与维度无关的参数约束下证明了时间上的指数收敛性，并在高维任务上通过数值实验验证。

ABSTRACT

We improve recently introduced consensus-based optimization method, proposed in [R. Pinnau, C. Totzeck, O. Tse and S. Martin, Math. Models Methods Appl. Sci., 27(01):183--204, 2017], which is a gradient-free optimization method for general non-convex functions. We first replace the isotropic geometric Brownian motion by the component-wise one, thus removing the dimensionality dependence of the drift rate, making the method more competitive for high dimensional optimization problems. Secondly, we utilize the random mini-batch ideas to reduce the computational cost of calculating the weighted average which the individual particles tend to relax toward. For its mean-field limit--a nonlinear Fokker-Planck equation--we prove, in both time continuous and semi-discrete settings, that the convergence of the method, which is exponential in time, is guaranteed with parameter constraints {\it independent} of the dimensionality. We also conduct numerical tests to high dimensional problems to check the success rate of the method.

研究动机与目标

• 解决机器学习中高维非凸优化问题，其中梯度方法因梯度消失/爆炸而失效。
• 通过用分量噪声替代各向同性噪声，克服先前一致性优化（CBO）方法中的维度依赖性。
• 通过引入随机小批量采样以计算加权平均，降低CBO中的计算成本。
• 在连续和半离散设置下，建立具有维度无关参数约束的严格收敛保证。
• 通过数值实验展示该方法在高维优化问题上的有效性。

提出的方法

• 在原始CBO中用分量噪声替代各向同性几何布朗运动，以消除与维度相关的漂移速率。
• 引入小批量策略以近似粒子的共识点（加权平均），从而降低每次迭代的计算成本。
• 将平均场极限表述为非线性Fokker-Planck方程，以分析收敛行为。
• 利用拉普拉斯原理和吉布斯测度，将系统的不变测度与目标函数的全局最小值联系起来。
• 在与维度无关的参数约束下，证明连续时间和半离散格式的时间指数收敛性。
• 应用伊tô微积分和Gronwall型不等式，推导粒子系统的稳定性和收敛性边界。

实验结果

研究问题

• RQ1 一致性优化方法能否在高维非凸问题中实现维度无关的收敛？
• RQ2 将各向同性噪声替换为分量噪声，对CBO的收敛速度和可扩展性有何影响？
• RQ3 对共识点的小批量近似是否能在降低计算成本的同时保持收敛性？
• RQ4 在平均场极限下，参数（λ, σ, β）的充分条件是什么，以实现与维度d无关的指数收敛？
• RQ5 与标准无梯度方法相比，该方法在高维机器学习问题上的数值表现如何？

主要发现

• 该方法在连续和半离散设置下均实现时间上的指数收敛，且收敛速率与问题维度d无关。
• 收敛的参数约束（特别是λ, σ, 和β）不随维度扩展，从而实现了向高维问题的可扩展性。
• 使用分量噪声消除了原始各向同性CBO公式中与维度相关的漂移速率。
• 对共识点的小批量近似在降低计算成本的同时保持了收敛性，理论边界表明加权平均误差可控。
• 数值实验证实该方法在高维优化问题（包括机器学习中出现的问题）中具有很高的成功率。
• 粒子系统的平均场极限收敛至一个集中在全局最小值附近的测度，当β → ∞时，不变测度趋近于在最小值处的狄拉克测度。