[논문 리뷰] Global Non-convex Optimization with Discretized Diffusions

Murat A. Erdogdu, Lester Mackey외 1명|arXiv (Cornell University)|2018. 10. 29.

Markov Chains and Monte Carlo Methods참고 문헌 26인용 수 8

한 줄 요약

이 논문은 일반적인 매끄럽고 소산성 확산 과정에 대해, 단지 랑주방 동역학이 아닌, 올바른 Euler 이산화의 전역 비볼록 최적화 보장을 수립한다. 명시적인 스틴 인자 경계와 다차원 스틴 방법을 통한 비점근적 오차 분석을 도입함으로써, 어떤 확산-적합한 목적 함수에 대해서도 계산 가능한 통합 및 최적화 오차 경계를 제공하며, 이는 기존의 랑주방 이론의 범위를 초월한 전역 최적화를 가능하게 한다.

ABSTRACT

An Euler discretization of the Langevin diffusion is known to converge to the global minimizers of certain convex and non-convex optimization problems. We show that this property holds for any suitably smooth diffusion and that different diffusions are suitable for optimizing different classes of convex and non-convex functions. This allows us to design diffusions suitable for globally optimizing convex and non-convex functions not covered by the existing Langevin theory. Our non-asymptotic analysis delivers computable optimization and integration error bounds based on easily accessed properties of the objective and chosen diffusion. Central to our approach are new explicit Stein factor bounds on the solutions of Poisson equations. We complement these results with improved optimization guarantees for targets other than the standard Gibbs measure.

연구 동기 및 목표

• 라ング주방 알고리즘을 초월해 더 넓은 범위의 확산에 대해 전역 최적화 보장을 확장하기.
• 목적 함수와 확산의 특성에 쉽게 접근 가능한 성질에 기반해 계산 가능한, 점근적이지 않은 통합 및 최적화 오차 경계 제공.
• 확산의 적합성 평가 및 워샤르슈타인 결합 속도 계산을 위한 사용자 우호적인 도구 개발.
• 비-지브스 불변 측도가 표준 지브스 목표보다 향상된 최적화 보장을 제공할 수 있음을 보여주기.
• 다양한 종류의 볼록 및 비볼록 함수, 특히 꼬리가 두꺼운 목표 함수에 적합한 다양한 확산이 어떤 조건에서 적합한지 규명하고 형식화하기.

제안 방법

• 포아송 방정식 해에 대한 스틴 인자 경계를 사용해, 이산화된 확산에 대해 명시적인 $\mathcal{O}(1/\epsilon^2)$ 통합 오차 경계를 유도한다.
• 다차원 스틴 방법의 버전을 도입해 포아송 방정식 해의 도함수를 경계함으로써, 점근적이지 않은 분석을 가능하게 한다.
• 매끄러운 계수를 가진 빠른 결합 확산 하에서, 의사-립시츠 함수에 대해 1차에서 4차까지의 스틴 인자 경계를 제공한다.
• 확산 계수와 목적 함수의 간단한 성질을 사용해 계산 가능한 워샤르슈타인 결합 속도 경계를 수립한다.
• 지브스 및 비-지브스 불변 측도를 모두 목표로 삼는 최적화 오차 분석 프레임워크를 제안하며, 후자의 경우 더 향상된 수렴성을 확보한다.
• 기존의 랑주방 이론로 다루지 못하는 비볼록, 하중제곱 또는 하중선형 성장 목표 함수에 적합한 새로운 확산을 구성하기 위해 이 이론을 적용한다.

실험 결과

연구 질문

• RQ1 전역 최적화 보장은 비볼록 목표 함수에 대해 랑주방 확산을 초월해 다른 매끄럽고 소산성 확산으로까지 확장될 수 있는가?
• RQ2 스티븐 인자 분석을 통해 통합 및 최적화에 대해 계산 가능한, 점근적이지 않은 오차 경계를 어떻게 도출할 수 있는가?
• RQ3 스티븐 인자는 목적 함수와 확산 계수의 쉽게 접근 가능한 성질에 대해 어떻게 경계할 수 있는가?
• RQ4 비-지브스 불변 측도가 표준 지브스 측도보다 더 나은 최적화 오차 경계를 제공할 수 있는가?
• RQ5 어떤 종류의 비볼록 함수들이, 랑주방 역학 이외의 확산을 통해 전역 최적화에 적합한가?

주요 결과

• 논문은 스틴 인자와 확산 계수에 기반해 이산화된 확산에 대해 $\mathcal{O}(1/\epsilon^2)$ 통합 오차 경계를 수립한다.
• 빠른 결합 확산과 매끄러운 계수를 가진 조건 하에서, 의사-립시츠 함수에 대해 1차에서 4차까지의 명시적 스틴 인자 경계를 도출한다.
• 이 프레임워크를 통해 계산 가능한 워샤르슈타인 결합 속도 경계를 제공하며, 이는 표준 랑주방 설정을 초월한 수렴 속도 유도에 사용된다.
• 비-지브스 불변 측도를 목표로 삼음으로써 개선된 최적화 오차 경계를 달성하였으며, 이러한 측도가 표준 지브스 측도를 능가할 수 있음을 입증한다.
• 이론은 비볼록 함수에 대해 하중제곱 또는 하중선형 성장을 보이는 새로운 확산을 규명하며, 예를 들어 $f(x) \propto \|x\|^{2\alpha}$ ($\alpha < 1$) 와 같은 함수를 다룰 수 있도록 한다. 이러한 함수들은 고전적 랑주방 이론의 범위를 벗어난다.