[논문 리뷰] A consensus-based global optimization method with adaptive momentum estimation

Jingrun Chen, Shi Jin외 1명|arXiv (Cornell University)|2020. 12. 09.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 Adam에서 유도된 적응형 동량 추정과 공감 최적화(CBO)를 조합한 기울기 자유(global optimization) 방법인 Adam-CBO를 제안한다. 이 방법은 1000차원 라스트린 함수를 최소화하는 데 100% 성공률를 기록하며, 미분 가능하지 않은 활성화 함수인 |x|^{0.5}를 사용하는 저규칙성 해를 가진 PDE를 해결할 때 Adam을 능가한다. 이는 고차원, 비凸 문제에서 선형 스케일러빌리티와 강건성을 입증한다.

ABSTRACT

Objective functions in large-scale machine-learning and artificial intelligence applications often live in high dimensions with strong non-convexity and massive local minima. First-order methods, such as the stochastic gradient method and Adam, are often used to find global minima. Recently, the consensus-based optimization (CBO) method has been introduced as one of the gradient-free optimization methods and its convergence is proven with dimension-dependent parameters, which may suffer from the curse of dimensionality. By replacing the isotropic geometric Brownian motion with the component-wise one, the latest improvement of the CBO method is guaranteed to converge to the global minimizer with dimension-independent parameters, although the initial data need to be well-chosen. In this paper, based on the CBO method and Adam, we propose a consensus-based global optimization method with adaptive momentum estimation (Adam-CBO). Advantages of the Adam-CBO method include: (1) capable of finding global minima of non-convex objective functions with high success rates and low costs; (2) can handle non-differentiable activation functions and thus approximate low-regularity functions with better accuracy. The former is verified by approximating the $1000$ dimensional Rastrigin function with $100\%$ success rate at a cost only growing linearly with respect to the dimensionality. The latter is confirmed by solving a machine learning task for partial differential equations with low-regularity solutions where the Adam-CBO method provides better results than the state-of-the-art method Adam. A linear stability analysis is provided to understand the asymptotic behavior of the Adam-CBO method.

연구 동기 및 목표

• 기하학적 국소 최소값이 많아지는 고차원, 비凸 기계학습 문제에서 전역 최적화의 과제를 해결한다.
• 차원에 독립적인 수렴 매개변수를 보장함으로써 공감 최적화(CBO)의 차원의 고통 문제를 극복한다.
• 기울기 기반 방법이 실패하는 비가속도 함수 및 저규칙성 해를 가진 PDE에서 효과적인 최적화를 가능하게 한다.
• CBO에 적응형 동량 추정을 통합함으로써 고차원 전역 최적화의 수렴성과 성공률를 향상시킨다.
• 비연속 또는 비가속도 손실 함수를 가진 문제에 대해 Adam의 강력하고 확장 가능한 대안을 제공한다.

제안 방법

• Adam에서 유도된 적응형 동량 추정을 공감 최적화(CBO) 프레임워크에 통합하여 수렴성과 안정성을 향상시킨다.
• 기존 CBO에서 등방성 기하 브라운 운동을 성분별 확률적 과정으로 대체하여 차원에 독립적인 수렴을 보장한다.
• N개의 입자가 목표 함수 값에 가중된 공감점 향해 진화하는 입자 군집 역학을 적용한다.
• 기울기의 일阶 및 이阶 모멘트 추정치를 지수 평균을 통해 계산하여 적응형 학습률을 적용한다.
• 기본 기울기 계산 없이 입자 상호작용과 목표 함수 평가에 의존함으로써 기울기 자유 동작을 유지한다.
• Adam-CBO 방법의 점근적 행동과 수렴 성질을 이해하기 위해 선형 안정성 분석을 수행한다.

실험 결과

연구 질문

• RQ1 적응형 동량 추정을 갖춘 공감 기반 방법이 차원에 독립적인 매개변수를 가진 고차원, 비凸 최적화 문제에서 전역 수렴을 달성할 수 있는가?
• RQ2 Adam-CBO 방법은 1000차원 비凸 함수인 라스트린 함수 최소화에 어떻게 성능을 발휘하는가?
• RQ3 기울기 기반 방법이 실패하는 비가속도 활성화 함수, 예를 들어 |x|^{0.5}를 가진 문제에서 Adam-CBO가 효과적으로 최적화할 수 있는가?
• RQ4 저규칙성 해를 가진 PDE를 해결할 때 Adam-CBO는 Adam과 비교해 어떤가? 특히 근사 정확도 측면에서 어떻게 다른가?
• RQ5 대규모 최적화 작업에서 차원에 따라 Adam-CBO의 계산 비용은 어떻게 스케일링되는가?

주요 결과

• Adam-CBO는 1000차원 라스트린 함수 최소화에 100% 성공률를 기록하며, 계산 비용이 차원에 따라 선형적으로 증가한다.
• 저규칙성 해를 가진 PDE를 해결할 때 Adam을 능가하며, 2D에서는 |x|^{0.5} 활성화 함수를 사용해 L² 오차 3.96×10⁻³을 달성하고, 4D에서는 3.13×10⁻³을 기록한다.
• 비가속도인 |x|^{0.5} 활성화 함수를 사용함으로써, 저규칙성 PDE에서 ReLU, ReQu, 또는 시그모이드보다 더 나은 특이 해 근사가 가능하다.
• 다양한 차원에서 L² 및 L∞ 노름 모두에서 Adam에 비해 더 뛰어난 수렴 안정성과 낮은 오차율을 보인다.
• 선형 안정성 분석을 통해 Adam-CBO의 점근적 수렴 행동을 확인하였으며, 이는 고차원 환경에서의 강건성을 뒷받침한다.
• 비연속 또는 비가속도 최적화 환경에서도 낮은 계산 비용과 높은 성공률를 유지한다.