[论文解读] Enhancing Exploration in Global Optimization by Noise Injection in the Probability Measures Space

Gaëtan Serré, Pierre Germain+2 more|arXiv (Cornell University)|Jan 30, 2026

Stochastic Gradient Optimization Techniques被引用 0

一句话总结

论文提出两种将噪声注入 McKean–Vlasov (MKV) 概率律动力学的原理性方法，以提升多模态全局优化中的探索，并在多种基于 MKV 的方法上展示了性能提升。

ABSTRACT

McKean-Vlasov (MKV) systems provide a unifying framework for recent state-of-the-art particlebased methods for global optimization. While individual particles follow stochastic trajectories, the probability law evolves deterministically in the mean-field limit, potentially limiting exploration in multimodal landscapes. We introduce two principled approaches to inject noise directly into the probability law dynamics: a perturbative method based on conditional MKV theory, and a geometric approach leveraging tangent space structure. While these approaches are of independent interest, the aim of this work is to apply them to global optimization. Our framework applies generically to any method that can be formulated as a MKV system. Extensive experiments on multimodal objective functions demonstrate that both our noise injection strategies enhance consistently the exploration and convergence across different configurations of dynamics, such as Langevin, Consensus-Based Optimization, and Stein Boltzmann Sampling, providing a versatile toolkit for global optimization.

研究动机与目标

• 在 MKV 基于的全局优化中动机性探索挑战及在多模态地形中的陷入风险。
• 提出两种模块化的噪声注入机制（SMD 和 GCN），在不改变底层 MKV 框架的前提下扰动概率律动力学。
• 通过大量实验证明 rho-noise 在 Langevin、CBO、SBS 和 MSGD 等方法在多模态基准上的探索与收敛得到改善。

提出的方法

• 两种将噪声注入 MKV 动力学的方案：使用对宏观观测量的扰动的随机矩(moment) 动力学 (SMD) 以及在概率律流形的切空间中注入噪声的几何公共噪声 (GCN)。
• SMD 在粒子动力学中引入以贝塔权重加性的扰动，针对均值、二阶矩和方差等矩(moment)，并引入 delta-Bessel 过程以确保正性。
• GCN 通过 RKHS 值的高斯场在无限维上注入噪声，沿着 SVGD 的切空间对齐，在概率律空间产生 Langevin 型的随机流。
• 该框架作为一个可插拔模块，适用于任何基于 MKV 的方法（例如 MSGD、Langevin、SBS、CBO）。
• 理论基础将 GCN 与 rho 上的随机偏微分方程相联系，并展示其与 SMD 通过核带宽的关系。

实验结果

研究问题

• RQ1 直接注入到概率律动力学（rho-noise）的噪声是否能提升基于 MKV 的全局优化中的探索？
• RQ2 两种提议的 rho-noise 方法（SMD 与 GCN）在不同 MKV 动力学下对探索和收敛的提升效果有何比较？
• RQ3 噪声注入是否具有足够的模块性，可以作为各种基于粒子的优化方案的插件？
• RQ4 在 SVGD 基设中，核带宽和观测量选择对 rho-noise 效果有何影响？
• RQ5 在标准的多模态基准上，所提方法是否始终优于原生 MKV 动力学？

主要发现

基准	CBO	SMD-CBO Mean	SMD-CBO M^2	SMD-CBO Var	SMD-CBO Mean+Var	GCN-CBO	p-value	基准	SBS	SMD-SBS Mean	SMD-SBS M^2	SMD-SBS Var	SMD-SBS Mean+Var	GCN-SBS	p-value	基准	Langevin	SMD-Langevin Mean	SMD-Langevin M^2	SMD-Langevin Var	SMD-Langevin Mean+Var	GCN-Langevin	p-value	基准	MSGD	SMD-MSGD Mean	SMD-MSGD M^2	SMD-MSGD Var	SMD-MSGD Mean+Var	GCN-MSGD	p-value
Ackley	21.097	20.615	21.083	21.088	20.610	20.591	0.000	Deb N.1	-1.000	-1.000	-1.000	-1.000	-1.000	-1.000	0.000	Griewank	20.279	19.562	19.657	19.683	20.073	19.506	0.237	Levy	102.351	86.857	95.816	95.945	81.912	85.146	0.000	Rastrigin	253.358	238.943	250.021	250.463	240.406	238.768	0.000	Schwefel	5157.189	5127.111	5139.564	5146.530	5199.557	5111.855	0.387	Styblinski-Tang	-19.513	-20.798	-20.006	-19.881	-20.091	-20.191	0.000	Avg Rank	5.14	2.00	3.29	4.14	3.00	1.29	ECR	1.0648	1.0097	1.0424	1.0443	1.0132	1.0104

• rho-noise 在多种 MKV 动力学（Langevin、CBO、SBS、MSGD）上显著提升探索与收敛。
• SMD 提供有限维的基于观测量的扰动以驱动宏观随机性，改善盆地跳跃行为。
• GCN 引入无限维、切空间的噪声，产生在概率律上类似 Langevin 的动力学，并可通过核带宽在白噪声与 SMD 均值之间插值。
• 在维度 20、粒子数 150 的 7 个多模态函数上的经验结果显示对噪声增强的方法具有一致改进和有利排名。
• 该研究表明 rho-noise 框架是一个多功能的全局优化与采样工具包，在基准函数上有显著的性能提升。