[논문 리뷰] A consensus-based global optimization method for high dimensional machine learning problems

José A. Carrillo, Shi Jin외 2명|arXiv (Cornell University)|2019. 09. 19.

Stochastic Gradient Optimization Techniques참고 문헌 41인용 수 11

한 줄 요약

이 논문은 등방성 브라운 운동을 성분별 노이즈로 대체하고 미니배치 평균을 사용하여 고차원 기계학습 문제를 위한 차원에 독립적인 공감 기반 최적화 방법을 제안한다. 차원에 의존하지 않는 매개변수 제약 조건 하에 시간에 따른 지수 수렴을 증명하였으며, 고차원 작업에서 수치적으로 검증되었다.

ABSTRACT

We improve recently introduced consensus-based optimization method, proposed in [R. Pinnau, C. Totzeck, O. Tse and S. Martin, Math. Models Methods Appl. Sci., 27(01):183--204, 2017], which is a gradient-free optimization method for general non-convex functions. We first replace the isotropic geometric Brownian motion by the component-wise one, thus removing the dimensionality dependence of the drift rate, making the method more competitive for high dimensional optimization problems. Secondly, we utilize the random mini-batch ideas to reduce the computational cost of calculating the weighted average which the individual particles tend to relax toward. For its mean-field limit--a nonlinear Fokker-Planck equation--we prove, in both time continuous and semi-discrete settings, that the convergence of the method, which is exponential in time, is guaranteed with parameter constraints {\it independent} of the dimensionality. We also conduct numerical tests to high dimensional problems to check the success rate of the method.

연구 동기 및 목표

• 기울기 방법이 기울기 소실/폭발로 인해 실패하는 비볼록 고차원 최적화 문제에 도전한다.
• 기존 공감 기반 최적화(CBO) 방법의 차원 의존성 문제를 해결하기 위해 등방성 노이즈를 성분별 노이즈로 대체한다.
• 가중 평균 계산을 위한 무작위 미니배치 샘플링을 도입하여 CBO의 계산 비용을 감소시킨다.
• 연속 및 반산형 설정에서 차원에 독립적인 매개변수 제약 조건 하에 엄밀한 수렴 보장을 수립한다.
• 수치 실험을 통해 고차원 최적화 문제에서 이 방법의 효과성을 입증한다.

제안 방법

• 원래 CBO에서 사용하는 등방성 기하 브라운 운동을 성분별 노이즈로 대체하여 차원에 의존하는 드리프트 속도를 제거한다.
• 입자들의 공감점(가중 평균)을 근사하기 위해 미니배치 전략을 도입하여 반복 계산 비용을 감소시킨다.
• 수렴 행동 분석을 위해 평균장 근사값을 비선형 포크너-플랭크 방정식으로 공식화한다.
• 라플라스 원리와 지브스 측도를 사용하여 시스템의 불변 측도가 목적 함수의 전역 최소값과 연결됨을 밝힌다.
• 연속 시간 및 반산형 스킴에서 차원에 독립적인 매개변수 제약 조건 하에 시간에 따른 지수 수렴을 증명한다.
• 이토 미적분과 그론발라 타입 부등식을 사용하여 입자 시스템의 안정성 및 수렴 한계를 유도한다.

실험 결과

연구 질문

• RQ1 공감 기반 최적화 방법이 고차원 비볼록 문제에서 차원에 독립적인 수렴을 달성할 수 있는가?
• RQ2 등방성 노이즈를 성분별 노이즈로 대체하면 CBO의 수렴 속도와 확장성에 어떤 영향을 미치는가?
• RQ3 공감점의 미니배치 근사가 수렴을 유지하면서도 고차원에서 계산 비용을 줄일 수 있는가?
• RQ4 평균장 근사에서 지수 수렴을 위한 충분한 조건(λ, σ, β)은 무엇이며, 이는 차원 d에 독립적인가?
• RQ5 기존 기울기 없는 방법과 비교해 이 방법은 고차원 기계학습 문제에서 수치적으로 어떻게 성능을 발휘하는가?

주요 결과

• 연속 및 반산형 설정 모두에서 시간에 따른 지수 수렴을 달성하며, 이 수렴 속도는 문제의 차원 d에 영향을 받지 않는다.
• 수렴을 위한 매개변수 제약 조건(특히 λ, σ, β)이 차원에 따라 스케일링되지 않아 고차원 문제에 대한 확장성이 보장된다.
• 성분별 노이즈의 사용은 원래 등방성 CBO 수식에서 존재하는 차원 의존성 드리프트 속도를 제거한다.
• 공감점의 미니배치 근사는 계산 비용을 감소시키지만 수렴성을 유지하며, 가중 평균의 오차에 대한 이론적 한계로 이를 입증한다.
• 수치 실험을 통해 이 방법이 고차원 최적화 문제에서 매우 높은 성공률을 보임을 확인하였다. 이는 기계학습에서 발생하는 문제들에도 적용 가능하다.
• 입자 시스템의 평균장 근사값은 전역 최소점 근처에 집중된 측도로 수렴하며, β → ∞일 때 불변 측도는 최소점에서의 딜라크 델타 측도로 수렴한다.