[논문 리뷰] A stochastic Stein Variational Newton method

Alex Leviyev, Joshua Chen외 3명|arXiv (Cornell University)|2022. 04. 19.

Markov Chains and Monte Carlo Methods인용 수 7

한 줄 요약

이 논문은 스토하스틱 스틸 변분 뉴턴(sSVN) 방법을 제안한다. 이 방법은 스틸 변분 뉴턴(SVN)의 빠른 수렴성과 스토하스틱 SVGD(sSVGD)의 渐近적 정확성(Asymptotic correctness)을 결합한다. 스토하스틱 미분방정식에서 유도된 노이즈 항과 레벤버그 유사 감쇠항을 도입함으로써, sSVN는 편향 없는 샘플링을 달성하면서도, 도전적인 사후 분포에서 sSVGD 대비 기울기 평가 횟수를 최대 세 자리 수준으로 감소시킨다.

ABSTRACT

Stein variational gradient descent (SVGD) is a general-purpose optimization-based sampling algorithm that has recently exploded in popularity, but is limited by two issues: it is known to produce biased samples, and it can be slow to converge on complicated distributions. A recently proposed stochastic variant of SVGD (sSVGD) addresses the first issue, producing unbiased samples by incorporating a special noise into the SVGD dynamics such that asymptotic convergence is guaranteed. Meanwhile, Stein variational Newton (SVN), a Newton-like extension of SVGD, dramatically accelerates the convergence of SVGD by incorporating Hessian information into the dynamics, but also produces biased samples. In this paper we derive, and provide a practical implementation of, a stochastic variant of SVN (sSVN) which is both asymptotically correct and converges rapidly. We demonstrate the effectiveness of our algorithm on a difficult class of test problems -- the Hybrid Rosenbrock density -- and show that sSVN converges using three orders of magnitude fewer gradient evaluations of the log likelihood than its stochastic SVGD counterpart. Our results show that sSVN is a promising approach to accelerating high-precision Bayesian inference tasks with modest-dimension, $d\sim\mathcal{O}(10)$.

연구 동기 및 목표

• 결정론적 스틸 변분 뉴턴(SVN)의 편향 문제를 해결하면서도 그 빠른 수렴성을 유지하기 위해.
• sSVGD와 유사하게 노이즈 주입을 통해 渐近적 정확성을 확보하는 SVN의 스토하스틱 변종을 개발하기 위해.
• 낮은에서 중간 차원 문제($d \sim \mathcal{O}(10)$)에서 효율적인 고정밀 베이지안 추론을 가능하게 하기 위해.
• 역동성에 레벤버그 유사 감쇠항을 도입하여 수렴 속도와 안정성을 향상시키기 위해.
• sSVGD에 비해 사후 분포 수렴에 필요한 로그우도 기울기 평가 횟수를 수개의 자리 수준으로 감소시키며 정확한 사후 재구성 가능성을 입증하기 위해.

제안 방법

• 스토하스틱 미분방정식의 이산화에서 유도된 노이즈 항을 추가하여 SVN의 스토하스틱 변종(sSVN)을 유도함으로써 渐近적 정확성을 보장한다.
• 최적화에서 뉴턴 방법과 유사하게 헤시안 정보를 입자 역동성에 통합하여 수렴 속도를 가속화한다.
• 흐름의 안정성과 글로벌라이제이션을 향상시키기 위해, 특히 좁은 산기록 영역에서 효과적인 레벤버그 유사 감쇠항을 도입한다.
• 커널 기반 스틸 산란 프레임워크를 사용하여 기능적 기울기와 뉴턴 업데이트 방향을 정의한다.
• 뉴턴 스텝에 노이즈를 더한 중심이 된 제안 분포를 가진 마르코프 체인을 구현함으로써 渐近적 정확한 샘플링을 가능하게 한다.
• 정착 분포의 편향을 추가로 감소시키기 위해 감쇠 스케줄 또는 메트로폴리스-하스팅스 보정을 적용한다.

실험 결과

연구 질문

• RQ1 스토하스틱 스틸 변분 뉴턴(SVN)의 변종을 구성하여 渐近적 정확성을 유지하면서도 빠른 수렴성을 확보할 수 있는가?
• RQ2 스토하스틱 미분방정식에서 유도된 노이즈 항의 포함이 SVN 역동성의 수렴성과 편향에 어떤 영향을 미치는가?
• RQ3 sSVGD에 비해 사후 수렴에 필요한 로그우도 기울기 평가 횟수를 sSVN이 얼마나 줄일 수 있는가?
• RQ4 레벤버그 유사 감쇠항은 고곡률 사후 영역에서 sSVN의 안정성과 강건성을 어떻게 향상시키는가?
• RQ5 하이브리드 로젠브룩 밀도와 같은 도전적인 테스트 문제에서 sSVN은 고정밀 사후 재구성을 달성할 수 있는가?

주요 결과

• 다섯 차원의 하이브리드 로젠브룩 문제에서 sSVN는 sSVGD 대비 약 1,000배 적은 기울기 평가로 사후 재구성을 달성한다.
• 열 차원의 하이브리드 로젠브룩 테스트 케이스에서 sSVN는 약 200회 반복 내에 평형에 도달하는 반면, sSVGD는 수천 번 이상의 반복이 필요하다.
• 최종 샘플은 P-P 플롯과 코너 플롯을 통해 참값과 뛰어난 일치를 보이며, 최종 반복 수가 100개에 불과한 경우에도 여전히 정확하다.
• sSVN는 순간 수렴 성능이 뛰어나며, 다섯 차원 사례에서 모든 순간이 100회 이내에 안정화되지만, sSVGD는 10,000회 이상이 소요된다.
• 알고리즘은 SVN의 아핀 불변성(affine invariance)을 이어받아 좁은 산기록 영역에 덜 민감하고 더 큰, 더 강력한 스텝 사이즈를 허용한다.
• 감쇠 스케줄 또는 메트로폴리스-하스팅스 보정을 사용함으로써 정착 분포의 편향이 제거되어 渐近적 정확성이 보장된다.