[논문 리뷰] Riemannian Stein Variational Gradient Descent for Bayesian Inference

Chang Liu, Jun Zhu|arXiv (Cornell University)|2017. 11. 30.

Gaussian Processes and Bayesian Inference참고 문헌 25인용 수 20

한 줄 요약

이 논문은 정보 기하학을 활용하여 리만 다양체로 슈바르츠-바리에이션 경사하강법(SVGD)을 확장한 입자 기반 베이지안 추론 방법인 리만 슈바르츠-바리에이션 경사하강법(RSVGD)을 제안한다. RSVGD는 리만 다량체에서 입자 효율성, 반복 효율성, 근사 유연성 측면에서 뛰어난 성능을 발휘하며, 다량체 제약이 있는 경우와 유클리드 공간에서 모두 SVGD 및 MCMC 방법보다 뛰어나다.

ABSTRACT

We develop Riemannian Stein Variational Gradient Descent (RSVGD), a Bayesian inference method that generalizes Stein Variational Gradient Descent (SVGD) to Riemann manifold. The benefits are two-folds: (i) for inference tasks in Euclidean spaces, RSVGD has the advantage over SVGD of utilizing information geometry, and (ii) for inference tasks on Riemann manifolds, RSVGD brings the unique advantages of SVGD to the Riemannian world. To appropriately transfer to Riemann manifolds, we conceive novel and non-trivial techniques for RSVGD, which are required by the intrinsically different characteristics of general Riemann manifolds from Euclidean spaces. We also discover Riemannian Stein's Identity and Riemannian Kernelized Stein Discrepancy. Experimental results show the advantages over SVGD of exploring distribution geometry and the advantages of particle-efficiency, iteration-effectiveness and approximation flexibility over other inference methods on Riemann manifolds.

연구 동기 및 목표

• 리만 다량체에서 효과적인 입자 기반 추론 방법의 부족을 해결한다.
• 복잡한 비유클리드 사후 기하학을 처리하는 데 어려움을 겪는 기존 방법들인 MCMC 및 VI의 한계를 극복한다.
• 스튜어트-바리에이션 경사하강법(SVGD) 프레임워크를 리만 다량체로 일반화하면서도 입자 효율성과 비모수적 민감성의 핵심 이점을 유지한다.
• 곡선 공간에서의 추론을 위해 새로운 이론적 도구인 리만 슈바르츠의 항등식과 리만 커널 기반 슈바르츠 불일치도를 개발한다.
• 기하학적 구조를 활용하여 리만 다량체(예: 초구)와 유클리드 공간 양쪽 모두에서의 추론 과제에 대해 효과적으로 작동하는 방법을 입증한다.

제안 방법

• 리만 다량체에서의 방향 도함수를 유도하여 SVGD의 기능적 경사하강 업데이트 규칙을 일반화한다.
• 스코어 기반 추론을 가능하게 하기 위해 고전적 슈바르츠의 항등식을 다량체에 맞게 조정한 리만 슈바르츠의 항등식을 도입한다.
• 다양체에서의 사후 근사 품질 평가를 위한 분산 측도로 리만 커널 기반 슈바르츠 불일치도(RKSD)를 제안한다.
• 가우스 커널의 제약을 통해 유도된 초구 $\mathbb{S}^{n-1}$ 상에서 유효한 커널로써 $K(y,y') = \exp(\kappa y^\top y')$ 인 버그-미제스-파이어(วีเอ็มเอฟ) 커널을 사용한다.
• 합산 커널 기법을 적용하여 vMF 커널을 $ (\mathbb{S}^{n-1})^P $와 같은 곱 다량체로 확장함으로써 다입자 업데이트를 가능하게 한다.
• 매니폴드 제약 최적화 프레임워크를 사용하여 매개변수 공간의 내재 기하학을 존중하는 RSVGD를 구현함으로써 좌표 기반 왜곡을 피한다.

실험 결과

연구 질문

• RQ1 스튜어트-바리에이션 경사하강법은 이론적·실용적 이점을 유지하면서 리만 다량체로 일반화될 수 있는가?
• RQ2 SVGD의 기능적 경사하강 업데이트 규칙은 리만 다량체의 내재 기하학에 어떻게 적응될 수 있는가?
• RQ3 리만 설정에서 슈바르츠의 항등식과 커널 기반 불일치도의 적절한 대응은 무엇인가?
• RQ4 RSVGD는 리만 다량체에서 MCMC 및 VI에 비해 더 뛰어난 입자 효율성과 반복 효율성을 달성하는가?
• RQ5 RSVGD는 다량체 제약이 있는 경우와 유클리드 추론 과제에서 모두 사후 분포의 기하학적 구조를 효과적으로 활용할 수 있는가?

주요 결과

• 20News-different 데이터셋에서 RSVGD는 반복 효율성 측면에서 MCMC 및 VI 방법보다도 더 빠른 로그-퍼플렉서티 향상을 기록했다.
• 단지 100개의 입자만으로도 RSVGD는 SGGMCf와 GMC보다 낮은 로그-퍼플렉서티를 달성하여 뛰어난 입자 효율성과 근사의 민감성을 입증했다.
• 더 큰 입자 수를 사용할 경우, SGGMCf와 같은 MCMC 방법은 정적 자기상관성으로 인해 성능 향상이 제한되지만, RSVGD는 지속적인 성능 향상을 유지한다.
• 이 방법은 SVGD를 리만 다량체로 효과적으로 일반화하여 전역 좌표계에 의존하지 않고도 초구 및 기타 곡선 공간에서 효과적인 추론을 가능하게 하였다.
• 초구 $\mathbb{S}^{n-1}$ 상의 vMF 커널은 타당한 커널으로 검증되었으며, 이는 RSVGD에서 안정적이고 효과적인 입자 업데이트를 가능하게 했다.
• 비모수적이고 민감한 변분 가족 덕분에 RSVGD는 평균장 VI보다 뛰어난 성능을 보였으며, 훨씬 적은 입자 수로 MCMC 수준의 결과를 달성했다.