[논문 리뷰] Breaking Reversibility Accelerates Langevin Dynamics for Global Non-Convex Optimization

Xuefeng Gao, Mert Gürbüzbalaban외 1명|arXiv (Cornell University)|2018. 12. 19.

Markov Chains and Monte Carlo Methods참고 문헌 72인용 수 16

한 줄 요약

이 논문은 전역 비볼록 최적화를 가속화하기 위해 복원 불가능한 라ング주인 동역학—특히 과다감쇠 라ング주인 동역학(ULD)과 비대칭 이동 라ング주인 동역학(NLD)—을 제안한다. 시간의 복원성을 깨짐으로써, 국소 최소점에 도달하는 재귀 시간이 국소 최소점에서 헤시안 행렬의 최소 고유값에 대한 의존도를 향상시켜 감소하고, 동시에 국소 골짜기에서의 탈출 속도도 빨라져, 표준 복원 가능한 라ング주인 동역학에 비해 탐색 효율성이 향상된다.

ABSTRACT

Langevin dynamics (LD) has been proven to be a powerful technique for optimizing a non-convex objective as an efficient algorithm to find local minima while eventually visiting a global minimum on longer time-scales. LD is based on the first-order Langevin diffusion which is reversible in time. We study two variants that are based on non-reversible Langevin diffusions: the underdamped Langevin dynamics (ULD) and the Langevin dynamics with a non-symmetric drift (NLD). Adopting the techniques of Tzen, Liang and Raginsky (2018) for LD to non-reversible diffusions, we show that for a given local minimum that is within an arbitrary distance from the initialization, with high probability, either the ULD trajectory ends up somewhere outside a small neighborhood of this local minimum within a recurrence time which depends on the smallest eigenvalue of the Hessian at the local minimum or they enter this neighborhood by the recurrence time and stay there for a potentially exponentially long escape time. The ULD algorithms improve upon the recurrence time obtained for LD in Tzen, Liang and Raginsky (2018) with respect to the dependency on the smallest eigenvalue of the Hessian at the local minimum. Similar result and improvement are obtained for the NLD algorithm. We also show that non-reversible variants can exit the basin of attraction of a local minimum faster in discrete time when the objective has two local minima separated by a saddle point and quantify the amount of improvement. Our analysis suggests that non-reversible Langevin algorithms are more efficient to locate a local minimum as well as exploring the state space. Our analysis is based on the quadratic approximation of the objective around a local minimum. As a by-product of our analysis, we obtain optimal mixing rates for quadratic objectives in the 2-Wasserstein distance for two non-reversible Langevin algorithms we consider.

연구 동기 및 목표

• 비볼록 최적화에 있어서 복원 가능한 라ング주인 동역학의 느린 수렴과 고착 상태 문제를 해결하기 위해.
• 라ング주인 동역학에서 시간의 복원성을 깨뜨림으로써 국소 최소점에 도달하는 시간 척도와 잠재력 골짜기에서의 탈출 시간이 어떻게 향상되는지 분석하기 위해.
• 표준 복원 가능한 라ング주인 동역학에 비해 복원 불가능한 변형(ULD 및 NLD)이 재귀 시간과 탈출 시간에 얼마나 향상되는지 정량화하기 위해.
• 복원 불가능한 확산 과정을 사용하여 비볼록 설정에서 수렴성과 탐색 효율성에 대한 이론적 보장을 수립하기 위해.
• 복원 불가능한 변형이 고차원 비볼록 경관에서 더 빠른 골짜기 탈출과 향상된 재귀 시간을 달성함을 보여주기 위해.

제안 방법

• 연속 시간 모델로 복원 불가능한 확률적 미분 방정식(SDE)을 채택하며, 특히 과다감쇠 라ング주인 동역학(ULD)과 비대칭 이동 라ング주인 동역학(NLD)을 사용한다.
• Tzen 등(2018)의 프레임워크를 활용해 복원 불가능한 확산에서의 고착 상태를 분석하며, 재귀 시간과 탈출 시간에 초점을 맞춘다.
• 국소 최소점에서 헤시안 행렬의 최소 고유값 $m$에 대해 유리하게 스케일링되는 재귀 시간 $\mathcal{T}_{\text{rec}}$의 경계를 수립하며, 복원 가능한 LD에 비해 개선된 성능을 확보한다.
• 이 SDE들로부터 유도된 이산 시간 알고리즘을 분석하여, 목표 함수가 안장점으로 분리된 두 개의 국소 최소점이 존재할 경우 국소 골짜기에서의 탈출 속도가 빨라짐을 보여준다.
• 헤시안의 스펙트럼 성질과 행렬 노름(예: $\|H_\gamma\|$)을 활용하여 복원 불가능한 동역학에서 수렴성과 안정성을 제어한다.
• 균일한 편차 경계와 농도 불등식(예: 두브의 마팅게일 불등식)을 적용하여 경험 위험 근사에서 추정 오차를 제어한다.

실험 결과

연구 질문

• RQ1 라ング주인 동역학에서 시간의 복원성을 깨뜨림으로써 국소 최소점의 이웃 영역에 도달하는 데 소요되는 재귀 시간은 어떻게 영향을 받는가?
• RQ2 복원 불가능한 라ング주인 동역학(ULD 및 NLD)은 복원 가능한 라ング주인 동역학에 비해 국소 최소점의 골짜기에서 더 빠르게 탈출할 수 있는가?
• RQ3 복원 불가능한 설정에서 재귀 시간과 탈출 시간은 국소 최소점에서의 헤시안 행렬의 최소 고유값에 대해 어떻게 의존하는가?
• RQ4 복원 불가능한 라ング주인 동역학의 이산 시간 구현은 다수의 국소 최소점이 존재하는 비볼록 최적화에서 탐색을 어떻게 향상시키는가?
• RQ5 복원 불가능한 변형은 고차원 비볼록 경관에서 고착 상태를 얼마나 줄이고 전역 최적화 성능을 향상시키는가?

주요 결과

• ULD의 재귀 시간 $\mathcal{T}_{\text{rec}}$는 $\mathcal{O}(1/m)$으로 스케일링되며, 국소 최소점에서의 최소 헤시안 고유값 $m$에 대해 덜 유리하게 의존하는 복원 가능한 LD의 경계보다 개선된 성능를 보인다.
• ULD 및 NLD 모두 표준 LD에 비해 재귀 시간이 감소하며, 국소 최소점에서의 헤시안의 최소 고유값 $m$에 대한 의존도가 향상된다.
• 목표 함수가 안장점으로 분리된 두 개의 국소 최소점이 존재할 경우, 복원 불가능한 변형은 이산 시간에서 국소 골짜기에서의 탈출 속도가 더 빠르게 된다.
• 복원 불가능한 동역학의 탈출 시간 $\mathcal{T}_{\text{esc}}$는 여전히 지수적으로 길 수 있지만, 재귀 시간은 상당히 감소하여 탐색 효율성이 향상된다.
• 고확률적으로 ULD 궤적은 재귀 시간 내에 국소 최소점의 $\varepsilon$-이웃 영역을 떠나거나, 지수적으로 긴 탈출 시간 동안 그 안에 머무른다.
• 이론적 분석을 통해 복원 불가능한 라ング주인 알고리즘이 비볼록 최적화에서 국소 최소점 탐지 및 전역 상태공간 탐색에 더 효율적임을 확인한다.