[논문 리뷰] Enhancing Exploration in Global Optimization by Noise Injection in the Probability Measures Space

Gaëtan Serré, Pierre Germain외 2명|arXiv (Cornell University)|2026. 01. 30.

Stochastic Gradient Optimization Techniques인용 수 0

한 줄 요약

이 논문은 다중모드 글로벌 최적화에서 탐색을 강화하기 위해 MKV 확률-법칙 동역학에 노이즈를 주입하는 두 가지 원칙적 방법을 제시하고, 여러 MKV 기반 방법에서 성능 향상을 보여준다.

ABSTRACT

McKean-Vlasov (MKV) systems provide a unifying framework for recent state-of-the-art particlebased methods for global optimization. While individual particles follow stochastic trajectories, the probability law evolves deterministically in the mean-field limit, potentially limiting exploration in multimodal landscapes. We introduce two principled approaches to inject noise directly into the probability law dynamics: a perturbative method based on conditional MKV theory, and a geometric approach leveraging tangent space structure. While these approaches are of independent interest, the aim of this work is to apply them to global optimization. Our framework applies generically to any method that can be formulated as a MKV system. Extensive experiments on multimodal objective functions demonstrate that both our noise injection strategies enhance consistently the exploration and convergence across different configurations of dynamics, such as Langevin, Consensus-Based Optimization, and Stein Boltzmann Sampling, providing a versatile toolkit for global optimization.

연구 동기 및 목표

• MKV 기반 글로벌 최적화에서 탐색의 도전과 다중모드 지형에서의 포획 위험에 대한 이해를 제고한다.
• 기본 MKV 프레임워크를 변경하지 않으면서 확률법칙 동역학을 교란하는 두 가지 모듈형 노이즈 주입 메커니즘(SMD와 GCN)을 제안한다.
• rho-noise가 Langevin, CBO, SBS, MSGD 방법에서 탐색과 수렴을 다중모달 벤치마크에서 개선함을 광범위한 실험으로 보여준다.

제안 방법

• MKV 동역학에 대한 두 가지 노이즈 주입 방식: 거시적 관찰값의 섭동을 이용하는 Stochastic Moment Dynamics (SMD)와 확률 법칙 다양체의 접선 공간에 노이즈를 주입하는 Geometric Common Noise (GCN).
• SMD는 평균, 2차 모멘트, 분산과 같은 모멘트를 겨냥하는 입자 동역학에 베타 가중 섭동을 추가하며 양의성 보장을 위한 delta-베셀 프로세스 안전장치를 포함한다.
• GCN은 SVGD 접선 공간에 맞춰 RKHS 값의 가우시안 필드를 통해 무한 차원 노이즈를 주입하여 확률 법칙 공간에 Langevin 형의 확률 흐름을 생성한다.
• 이 프레임워크는 MSGD, Langevin, SBS, CBO 등 어떤 MKV 기반 방법에도 플러그인 모듈로 적용될 수 있음을 시연한다.
• 이론적 기초는 GCN을 rho에 대한 확률 편미분방정식과 연결시키고 커널 대역폭을 통해 SMD와의 관계를 보여준다.

실험 결과

연구 질문

• RQ1 확률 법칙 동역학(rho-noise)에 직접 주입된 노이즈가 MKV 기반 글로벌 최적화에서 탐색을 향상시킬 수 있는가?
• RQ2 다양한 MKV 동역학에서 제안된 두 rho-noise 접근법(SMD와 GCN)이 탐색 및 수렴 향상에 어떻게 비교되는가?
• RQ3 노이즈 주입이 다양한 입자 기반 최적화 스킴에 플러그인으로 충분히 모듈화되어 있는가?
• RQ4 SVGD 기반 설정에서 커널 대역폭과 관찰값 선택이 rho-noise의 효과성에 미치는 영향은 무엇인가?
• RQ5 제안된 방법들이 표준 다모달 벤치마크에서 일반 MKV 동역학보다 일관되게 더 우수한가?

주요 결과

벤치마크	CBO	SMD-CBO 평균	SMD-CBO M^2	SMD-CBO 분산	SMD-CBO 평균+분산	GCN-CBO	p-value	벤치마크	SBS	SMD-SBS 평균	SMD-SBS M^2	SMD-SBS 분산	SMD-SBS 평균+분산	GCN-SBS	p-value	벤치마크	Langevin	SMD-Langevin 평균	SMD-Langevin M^2	SMD-Langevin 분산	SMD-Langevin 평균+분산	GCN-Langevin	p-value	벤치마크	MSGD	SMD-MSGD 평균	SMD-MSGD M^2	SMD-MSGD 분산	SMD-MSGD 평균+분산	GCN-MSGD	p-value
Ackley	21.097	20.615	21.083	21.088	20.610	20.591	0.000	Deb N.1	-1.000	-1.000	-1.000	-1.000	-1.000	-1.000	0.000	Griewank	20.279	19.562	19.657	19.683	20.073	19.506	0.237	Levy	102.351	86.857	95.816	95.945	81.912	85.146	0.000	Rastrigin	253.358	238.943	250.021	250.463	240.406	238.768	0.000	Schwefel	5157.189	5127.111	5139.564	5146.530	5199.557	5111.855	0.387	Styblinski-Tang	-19.513	-20.798	-20.006	-19.881	-20.091	-20.191	0.000	Avg Rank	5.14	2.00	3.29	4.14	3.00	1.29	ECR	1.0648	1.0097	1.0424	1.0443	1.0132	1.0104

• rho-noise는 Langevin, CBO, SBS, MSGD 등 여러 MKV 동역학에서 탐색과 수렴을 크게 향상시킨다.
• SMD는 유한 차원이며 관찰값 기반의 섭동으로 거시적 확률성을 유도해 구역 간 점프(basin-hopping) 동작을 개선한다.
• GCN은 무한 차원의 접선 공간 노이즈를 도입하여 확률 법칙에 Langevin 형의 동역학을 생성하고 커널 대역폭을 통해 화이트 노이즈와 SMD-평균 사이를 보간할 수 있다.
• 차원 20에서 7개의 다모달 함수에 대해 150개 입자로 실험한 실증 결과는 노이즈 보강 방법의 일관된 개선과 우호적 순위를 보여준다.
• 본 연구는 rho-noise 프레임워크가 글로벌 최적화 및 샘플링에 유연한 툴킷임을 보여주며 벤치마크 함수에서 상당한 성능 향상을 제시한다.