[논문 리뷰] A Non-Asymptotic Analysis for Stein Variational Gradient Descent

Anna Korba, Adil Salim외 3명|arXiv (Cornell University)|2020. 06. 17.

Markov Chains and Monte Carlo Methods참고 문헌 35인용 수 15

한 줄 요약

이 논문은 무한 입자 근사에서 슈바르츠 변분 경사하강법(SVGD)의 점근적이지 않은 분석을 제시하며, 평균 슈바르츠 피셔 산란도(핵심 슈바르츠 불일치도)에 대한 내림의 보조정리와 수렴 속도를 확립한다. 또한 입자 수가 유한한 경우의 혼돈 전파 경계를 제공하여, 핵심 및 잠재력의 정규성 조건 하에 경험적 입자 분포가 그 집단적 극한으로부터 얼마나 떨어져 있는지를 정량화한다.

ABSTRACT

We study the Stein Variational Gradient Descent (SVGD) algorithm, which optimises a set of particles to approximate a target probability distribution $π\propto e^{-V}$ on $\mathbb{R}^d$. In the population limit, SVGD performs gradient descent in the space of probability distributions on the KL divergence with respect to $π$, where the gradient is smoothed through a kernel integral operator. In this paper, we provide a novel finite time analysis for the SVGD algorithm. We provide a descent lemma establishing that the algorithm decreases the objective at each iteration, and rates of convergence for the average Stein Fisher divergence (also referred to as Kernel Stein Discrepancy). We also provide a convergence result of the finite particle system corresponding to the practical implementation of SVGD to its population version.

연구 동기 및 목표

• 기존 문헌에서 부족한 정량적 수렴 속도를 해결하기 위해, SVGD에 대한 유한 시간 내 점근적이지 않은 분석을 제공하는 것.
• 모든 입자 수에서의 집단 극한에서 일정한 스텝 사이즈로 각 반복 단계에서 목적 함수가 감소하는 내림의 보조정리를 확립하는 것.
• 무한 입자 근사에서 평균 슈바르츠 피셔 산란도(핵심 슈바르츠 불일치도)에 대한 수렴 속도를 유도하는 것.
• 입자 수가 유한한 시스템이 집단 수준의 대응체에서 얼마나 떨어져 있는지를 혼돈 전파 경계를 통해 정량화하는 것.
• 유한 입자를 사용하는 실질적 SVGD 구현의 수렴 행동을 이해하기 위한 이론적 기초를 마련하는 것.

제안 방법

• 확률 measures의 워샤르스키 공간에서의 경사하강법으로 SVGD를 공식화하며, 목적 함수로 쿨백-라이블러 발산을 사용한다.
• 워샤르스키 거리로 장비된 확률 measures의 공간에서 최적화 기법을 적용하여 내림의 보조정리를 도출한다.
• 기울기 방향을 부드럽추기 위해 핵심 적분 연산자를 사용하며, 재생 핵 힐버트 공간(RKHS)의 단위 구내로 내림을 제한한다.
• 주르다인 등(2007)의 기법을 활용하여 경험적 입자 분포와 그 집단 수준의 대응체 간의 관계를 분석함으로써 혼돈 전파 경계를 도출한다.
• 안정성과 수렴성을 보장하기 위해 잠재력 함수 $V$와 핵심 $k$에 대한 정규성 조건(리프시츠 연속성 및 유계성 포함)을 도입한다.
• 연속 시간 역학과 이산 시간 반복을 모두 분석하며, 유한 입자 분포와 집단 분포 간의 워샤르스키 거리에 대한 명시적 경계를 제공한다.

실험 결과

연구 질문

• RQ1 일정한 스텝 사이즈로 무한 입자 근사에서 SVGD에 대해 점근적이지 않은 내림의 보조정리를 확립할 수 있는가?
• RQ2 집단 극한에서 평균 슈바르츠 피셔 산란도(핵심 슈바르츠 불일치도)의 수렴 속도는 무엇인가?
• RQ3 SVGD에서 유한 입자 수의 경험적 분포가 시간이 지남에 따라 집단 수준의 대응체에서 얼마나 떨어져 있는가?
• RQ4 SVGD 입자 시스템에 대해 시간에 관계없이 일관된 혼돈 전파 경계를 도출할 수 있는가?
• RQ5 입자 수 $N$과 반복 횟수 $n$이 모두 증가할 때, 유한 입자 SVGD 시스템이 목표 분포 $\pi$로 수렴하는 조건은 무엇인가?

주요 결과

• 무한 입자 근사에서 SVGD에 대해 내림의 보조정리가 확립되었으며, 일정한 스텝 사이즈로 각 반복 단계에서 목적 함수가 감소함을 보여준다.
• 평균 슈바르츠 피셔 산란도(핵심 슈바르츠 불일치도)에 대한 수렴 속도가 제공되었으며, 시간이 지남에 따라 불일치도가 0으로 감소하는 것을 정량화한다.
• 혼돈 전파 경계가 유도되었으며, $\mathbb{E}[W_2^2(\mu_n, \hat{\mu}_n)] \leq \frac{1}{2}\left(\frac{1}{\sqrt{N}}\sqrt{\text{var}(\mu_0)}e^{LT}\right)(e^{2LT}-1)$ 를 만족한다. 여기서 $L$은 핵심과 목표 분포에 따라 결정된다.
• 경계는 입자 수 $N$, 시간 영역 $T$, 그리고 초기 분산에 의존하지만, 시간에 관계없이 일관된 감쇠를 고려하지 않아, 비균일한 혼돈 전파를 나타낸다.
• 결과는 점근적이지 않으며, 입자 수, 반복 횟수, 그리고 근사 오차 간의 상호 상관관계를 명시적으로 정량화한다.
• 분석은 열린 문제를 규명하며, 특히 볼록성 또는 로그-소볼레프 조건 하에서 시간에 관계없이 일관된 혼돈 전파 경계와 KL 발산에 대한 수렴 속도를 도출하는 것을 포함한다.