[논문 리뷰] Dimension-free convergence rates for gradient Langevin dynamics in RKHS

Boris Muzellec, Kanji Sato외 2명|arXiv (Cornell University)|2020. 02. 29.

Markov Chains and Monte Carlo Methods참고 문헌 64인용 수 5

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)에서 경사수치 랑주방정식(GLD) 및 확률적 GLD(SGLD)의 차원에 의존하지 않는 수렴 속도를 확립한다. 이는 스펙트럴 갈레르킨 이산화와 관련 마르코프 체인의 기하적 유통성에 기반한다. 주요 기여는 시간 영역에 대해 균일하고 차원에 독립적인 비점근 오차 한계를 제공하는 것으로, 이는 역온도 β와 정규화 파라미터에 명시적인 의존성을 가진다.

ABSTRACT

Gradient Langevin dynamics (GLD) and stochastic GLD (SGLD) have attracted considerable attention lately, as a way to provide convergence guarantees in a non-convex setting. However, the known rates grow exponentially with the dimension of the space. In this work, we provide a convergence analysis of GLD and SGLD when the optimization space is an infinite dimensional Hilbert space. More precisely, we derive non-asymptotic, dimension-free convergence rates for GLD/SGLD when performing regularized non-convex optimization in a reproducing kernel Hilbert space. Amongst others, the convergence analysis relies on the properties of a stochastic differential equation, its discrete time Galerkin approximation and the geometric ergodicity of the associated Markov chains.

연구 동기 및 목표

• 유한차원 설정에서 기존 GLD/SGLD 수렴 속도가 차원에 따라 지수적으로 증가하는 데서 비롯되는 제한점을 해결하기 위해.
• 재생 커널 힐버트 공간(RKHS)에서의 무한차원 최적화로 수렴 분석을 확장하기 위해.
• RKHS에서 비볼록이고 정규화된 최적화 문제에 대해 GLD 및 SGLD의 비점근적이고 차원에 의존하지 않는 수렴 한계를 유도하기 위해.
• 무한차원 공간에서 시간 이산화된 동역학의 기하적 유통성을 확립하기 위해.
• 무한차원 설정에서 불변 측도 하의 기대 목표 값과 전역 최소값 사이의 거리를 측정하기 위해.

제안 방법

• 무한차원 RKHS에서 연속 시간 랑주방정식 SDE를 이산화하기 위해 스펙트럴 갈레르킨 방법을 사용한다.
• SPDE 이론 결과(Bréhier, 2014; Bréhier와 Kopec, 2016)를 활용하여 이산 시간 갈레르킨 방법의 약한 근사 오차를 분석한다.
• 커널 연산자의 스펙트럼 성질과 라플라스 함수 기법을 통해 시간 이산화 마르코프 체인의 기하적 유통성을 확립한다.
• SDE의 불변 측도와 깁스 분포 사이의 연결을 활용하여 샘플링과 최적화를 연결한다.
• 조건부 KL 분해를 통해 SGLD 및 GLD 과정 간의 워샤르 거리 및 KL 발산을 유계화한다.
• 기울기와 확률적 기울기의 유계성 및 리프시츠 조건을 활용하여 SGLD와 GLD 궤적 간의 차이를 제어한다.

실험 결과

연구 질문

• RQ1 비볼록 최적화에 대해 무한차원 RKHS에서 GLD/SGLD가 차원에 의존하지 않는 수렴 속도를 달성할 수 있는가?
• RQ2 목표 함수가 정규화되고 비볼록일 때, RKHS에서 GLD/SGLD의 비점근 수렴 속도는 무엇인가?
• RQ3 무한차원에서 시간 이산화된 동역학의 기하적 유통성이 수렴에 어떤 영향을 미치는가?
• RQ4 수렴 속도는 역온도 β와 커널 스펙트럼에 어떻게 의존하는가?
• RQ5 무한차원에서 KL 발산과 워샤르 거리 측면에서 SGLD와 GLD 간의 차이를 어떻게 유계화할 수 있는가?

주요 결과

• 논문은 RKHS에서 GLD/SGLD에 대해 시간 영역에 대해 균일하고 차원에 독립적인 비점근 오차 한계를 도출한다.
• 수렴 속도는 차원에 의존하지 않으며, β와 커널 연산자의 스펙트럼 감쇠에 명시적으로 의존한다.
• 시간 이산화된 동역학의 기하적 유통성이 증명되었으며, 이는 무한차원 설정에서 비현실적인 결과이다.
• 무한차원 설정에서 불변 측도 하의 기대 목표 값은 전역 최소값과 O(1/β) 이내로 유계화된다.
• SGLD와 GLD 간의 차이는 KL 발산 기반으로 O(βηk(ntr−nb)/(nb(ntr−1)))로 유계화되며, 적절한 스텝 사이즈 및 배치 사이즈 선택 조건 하에 작다.
• 분석 결과, 스펙트럼 정규화 하에서 수렴 속도가 안정됨을 보이며, 커널 고유값이 유한차원 기준에서 차원의 역할을 대체한다.