[논문 리뷰] Polarized consensus-based dynamics for optimization and sampling

Leon Bungert, Tim Roith외 1명|arXiv (Cornell University)|2022. 11. 09.

Quantum many-body systems인용 수 6

한 줄 요약

이 논문은 표준 공감 기반 최적화(CBO) 및 표본 추출(CBS)의 국한된 성능을 극복하기 위해 다중 전역 최소값 또는 다중 모드 분포를 탐지할 수 있도록 극화된 공감 기반 동역학을 도입한다. 거리 가중 커널을 통해 입자 간 상호작용을 局부화함으로써 다중 공감 점을 가능하게 하여, 가우시안 목표에 대해 편향 없는 표본 추출을 입증하고, 다중 모드 최적화 및 비가우시안 표본 추출에서 향상된 성능을 보인다.

ABSTRACT

In this paper we propose polarized consensus-based dynamics in order to make consensus-based optimization (CBO) and sampling (CBS) applicable for objective functions with several global minima or distributions with many modes, respectively. For this, we ``polarize'' the dynamics with a localizing kernel and the resulting model can be viewed as a bounded confidence model for opinion formation in the presence of common objective. Instead of being attracted to a common weighted mean as in the original consensus-based methods, which prevents the detection of more than one minimum or mode, in our method every particle is attracted to a weighted mean which gives more weight to nearby particles. We prove that in the mean-field regime the polarized CBS dynamics are unbiased for Gaussian targets. We also prove that in the zero temperature limit and for sufficiently well-behaved strongly convex objectives the solution of the Fokker--Planck equation converges in the Wasserstein-2 distance to a Dirac measure at the minimizer. Finally, we propose a computationally more efficient generalization which works with a predefined number of clusters and improves upon our polarized baseline method for high-dimensional optimization.

연구 동기 및 목표

• 표준 CBO 및 CBS가 오직 하나의 전역 최소값 또는 모드로 수렴하는 데서 기인하는 근본적 한계를 해결한다.
• 공감 기반 방법이 비凸, 다중 모드 목적 함수에서 다수의 최소값을 탐지할 수 있도록 한다.
• 다중 모드 분포, 특히 가우시안 혼합 분포에 대해 수학적으로 탄탄하고 편향 없는 표본 추출 방법을 개발한다.
• 고차원 문제에 대해 계산 효율성을 향상시키기 위해 군집 기반 변형을 도입한다.
• 최적화 및 표본 추출 설정 모두에서 평균장 기반 수렴 보장을 수립한다.

제안 방법

• 표준 CBO에서 전역 가중 평균을 사용하는 대신, 거리 가중 커널을 활용해 국소화된, 거리에 따라 가중된 평균으로 대체한다.
• 극화된 평균을 mβ[ρ](x) = ∫ y K_κ(x−y) exp(−βV(y)) dρ(y) / ∫ K_κ(x−y) exp(−βV(y)) dy 로 정의하며, 여기서 K_κ는 국소화 커널이다.
• 기준 입자에 가까운 입자 위치에 가중치를 두어, 입자 간 상호작용을 비수축성 동역학으로 보장함으로써 CBS에서 극화된 공분산을 도입한다.
• 사전 정의된 군집 중심 수를 사용해 가중 평균을 계산하는 군집 기반 변형을 제안하여 계산 효율성을 향상시킨다.
• 극화된 동역학에 대해 평균장 포커-플랑크 방정식을 유도하고 리아푸노프 함수를 사용해 수렴성을 분석한다.
• 기준 함수(Himmelblau, Ackley) 및 다중 모드 분포를 사용한 수치 실험을 통해 성능을 검증한다.

실험 결과

연구 질문

• RQ1 표준 CBO가 실패하는 비凸 최적화 문제에서 극화된 공감 기반 동역학이 다수의 전역 최소값을 탐지할 수 있는가?
• RQ2 제안된 극화된 CBS 방법이 다중 모드 가우시안 목표에서 편향 없이 표본을 추출할 수 있는가?
• RQ3 강력한 볼록 목적 함수에 대해, 온도가 0에 수렴하는 극한에서 극화된 동역학이 전역 최소화자에 대한 딜라크 측도로 수렴하는가?
• RQ4 군집 기반 변형이 다중 모드 탐지 능력을 유지하면서도 더 높은 계산 효율성을 달성할 수 있는가?
• RQ5 비가우시안, 다중 모드 분포에서 표본 추출 시, 표준 CBS와 비교해 이 방법은 어떤 성능을 보이는가?

주요 결과

• Proposition 2.1에 의해 증명된 바와 같이, 가우시안 커널을 사용할 경우 극화된 CBS 방법은 가우시안 목표에 대해 편향이 없다.
• 영온도 극한에서, 충분히 양호한 성질을 갖는 강력한 볼록 목적 함수에 대해 평균장 포커-플랑크 동역학은 워셔스타인-2 거리 기준 전역 최소화자에 대한 딜라크 측도로 수렴한다 (Theorem 2.5).
• 30차원에서의 다중 모드 Ackley 함수에 대해, κ = 0.01인 군집 기반 CBO는 J = 1600개의 입자를 사용해 99%의 런에서 ≥3개의 최소값을 탐지했다.
• 두 개의 멀리 떨어진 가우시안에서의 표본 추출 시, 극화된 CBS는 두 모드를 모두 효과적으로 분리했지만, 표준 CBS는 낮은 모드만 탐지했다.
• 두 모드가 가까이 있을 경우, 극화된 방법은 여전히 적어도 하나의 모드를 탐지했으며 (J = 400일 때 성공률 98%), 반면 표준 CBS는 완전히 실패했다.
• 비가우시안 분포의 경우, 극화된 CBS는 표준 CBS보다 진짜 다중 모드 구조를 더 잘 근사하는 표본을 생성했으며, 가중 평균은 높은 확률 영역에 집중되어 있었다.