[논문 리뷰] Stein Self-Repulsive Dynamics: Benefits From Past Samples

Mao Ye, Tongzheng Ren외 1명|arXiv (Cornell University)|2020. 02. 21.

Markov Chains and Monte Carlo Methods참고 문헌 36인용 수 5

한 줄 요약

이 논문은 샘플의 자기상관을 줄이기 위해 스틸 변분 경사하강법에서 유도된 반발력이 도입된 랭지에브 MCMC를 향상시키는 새로운 방법인 스틸 자기반발 역학을 제안한다. 과거 궤적 정보를 활용함으로써, 정상 분포를 유지하면서도 비정규화된 목표 분포에서 효과적 샘플 크기와 불확도 추정을 크게 향상시킨다.

ABSTRACT

We propose a new Stein self-repulsive dynamics for obtaining diversified samples from intractable un-normalized distributions. Our idea is to introduce Stein variational gradient as a repulsive force to push the samples of Langevin dynamics away from the past trajectories. This simple idea allows us to significantly decrease the auto-correlation in Langevin dynamics and hence increase the effective sample size. Importantly, as we establish in our theoretical analysis, the asymptotic stationary distribution remains correct even with the addition of the repulsive force, thanks to the special properties of the Stein variational gradient. We perform extensive empirical studies of our new algorithm, showing that our method yields much higher sample efficiency and better uncertainty estimation than vanilla Langevin dynamics.

연구 동기 및 목표

• 고자기상관성이 있는 랭지에브 동역학이 효과적 샘플 크기를 감소시키고 복잡한 비정규화된 분포의 탐색을 어렵게 하므로 이를 해결하기 위해.
• 무한한 입자 수가 필요로 하지 않는 SVGD와 같은 병렬 입자 시스템의 이점을 얻을 수 있는 단일 체인 샘플링 방법을 개발하기 위해.
• 과거 샘플에 기반한 반발력을 도입하면서도 정상 분포의 점근적 정확성을 유지하기 위해.
• 도전적인 확률 모델링 과제에서 샘플 다양성과 불확도 추정을 향상시키기 위해.

제안 방법

• 스티엘 변분 경사하강법을 반발력으로 활용하여 랭지에브 동역학에 통합함으로써 새로운 샘플이 과거 궤적에서 멀어지도록 유도한다.
• 과거 샘플의 경험적 분포를 사용하여 경사하강과 자기반발을 조합한 속도장을 계산한다.
• 핵심화된 스틸 산란을 사용하여 반발력을 계산함으로써 정상 분포가 그대로 유지되도록 보장한다.
• 과거 샘플의 역사를 기반으로 하는 시간에 따라 변화하는 비마르코프 동역학을 적용함으로써 고차원 마르코프 과정이 된다.
• 잠재 함수와 커널의 부드러움에 대한 온건한 조건 하에서 점근적 정확성을 보장하는 수렴 분석을 통해 이론적 근거를 제공한다.
• 지정된 대역폭을 가진 가우시안 커널을 사용하여 반발력을 계산함으로써 국소적 탐색과 전역적 다양성 사이의 균형을 유지한다.

실험 결과

연구 질문

• RQ1 과거 궤적 정보를 통합함으로써 단일 체인 MCMC 방법이 샘플 다양성을 향상시키고 자기상관을 줄일 수 있는가?
• RQ2 스티엘 변분 반발력의 추가가 랭지에브 동역학에서 정확한 정상 분포를 유지하는가?
• RQ3 제안된 방법은 순수한 랭지에브 동역학에 비해 효과적 샘플 크기와 불확도 추정 측면에서 어떻게 비교되는가?
• RQ4 비선형적이고 고차원 마르코프 과정인 이 동역학이 목표 분포로 수렴하는 데 이론적 근거는 무엇인가?

주요 결과

• 제안된 방법은 샘플의 자기상관을 크게 줄여 순수한 랭지에브 동역학에 비해 훨씬 높은 효과적 샘플 크기를 달성한다.
• 동역학의 정상 분포는 스틸 변분 경사하강법의 이론적 성질에 의해 정확히 목표 분포를 유지한다.
• 실증 결과는 고차원 및 다모드 분포를 포함한 여러 어려운 샘플링 과제에서 뛰어난 불확도 추정 성능을 보여준다.
• 더 적은 반복 수로도 유사한 정확도 수준에 도달할 수 있어 더 높은 샘플 효율성을 달성한다.
• 이론적 분석은 동역학이 비마르코프적이며 과거 샘플의 전체 역사를 기반으로 함에도 불구하고 목표 분포로 수렴함을 확인한다.