[논문 리뷰] Understanding and Accelerating Particle-Based Variational Inference

Chang Liu, Jingwei Zhuo외 4명|arXiv (Cornell University)|2018. 07. 04.

Neural Networks and Applications인용 수 43

한 줄 요약

이 논문은 입자 기반 변분 추론(ParVI)에 대한 Wasserstein 기하학적 관점을 제시하고, 스무딩을 통일 메커니즘으로 보이며, 수렴 및 샘플 정확도를 향상시키기 위한 가속 프레임워크와 원리 기반 대역폭 선택을 도입한다.

ABSTRACT

Particle-based variational inference methods (ParVIs) have gained attention in the Bayesian inference literature, for their capacity to yield flexible and accurate approximations. We explore ParVIs from the perspective of Wasserstein gradient flows, and make both theoretical and practical contributions. We unify various finite-particle approximations that existing ParVIs use, and recognize that the approximation is essentially a compulsory smoothing treatment, in either of two equivalent forms. This novel understanding reveals the assumptions and relations of existing ParVIs, and also inspires new ParVIs. We propose an acceleration framework and a principled bandwidth-selection method for general ParVIs; these are based on the developed theory and leverage the geometry of the Wasserstein space. Experimental results show the improved convergence by the acceleration framework and enhanced sample accuracy by the bandwidth-selection method.

연구 동기 및 목표

• Wasserstein 공간 프레임워크하에서 ParVI에 사용되는 유한 입자 근사를 통합하고 분석한다.
• ParVI를 뒷받침하는 스무딩 특성(밀도 스무딩 또는 함수 스무딩)을 밝히고 이들 간의 등가성을 확립한다.
• Wasserstein 공간의 리만 기하를 활용하여 ParVI의 수렴을 개선하기 위한 가속 프레임워크를 개발한다.
• 샘플 품질 향상을 위한 커널 스무딩의 원리 기반 대역폭 선택 방법을 제안한다.
• 스무딩 관점에 기초한 새로운 ParVI를 고안하고 실험에서 향상된 성능을 입증한다.

제안 방법

• ParVI를 Wasserstein 공간 P2(X)상의 그래디언트 흐름으로 모델링하고, 실제 그래디언트 흐름의 투사로서 SVGD와의 연결을 도출한다.
• 기존의 ParVI가 밀도 또는 함수 중 하나의 스무딩을 수행한다는 것을 보이고, 이 두 스무딩 관점 사이의 등가성을 증명한다.
• GFSD (gradient flow with smoothed density)와 GFSF (gradient flow with smoothed test functions)라는 두 가지 새로운 ParVI를 소개한다.
• P2(X)에 대한 리만 가속을 기반으로 한 가속 프레임워크(Wasserstein Accelerated Gradient, WAG, 및 Wasserstein Nesterov’s method, WNes)를 개발하고, 실용적 입자 기반 업데이트를 제공한다.
• 가속화를 가능하게 하기 위해 P2(X)에서의 지수 매핑, 역지수 매핑, 및 병렬수송의 실용적 근사를 서로 인접한 파티클 세트를 사용해 묘사한다.
• ParVI에서의 스무딩과 밀도 진화의 정렬을 위해 열 방정식에 의해 안내되는 원리 기반 커널 대역폭 선택 방법을 제안한다.

실험 결과

연구 질문

• RQ1 ParVI를 Wasserstein 공간의 그래디언트 흐름 관점에서 어떻게 통합할 수 있는가?
• RQ2 유한 입자 ParVI에서 스무딩의 기본 역할은 무엇이며, 스무딩-밀도와 스무딩-함수 접근법은 어떻게 관련되는가?
• RQ3 Wasserstein 다양체에서의 가속 기법이 실제로 ParVI의 수렴을 개선할 수 있는가?
• RQ4 ParVI에서 스무딩 및 샘플 품질을 최적화하기 위한 원리 기반 커널 대역폭을 어떻게 선택할 수 있는가?
• RQ5 스무딩 개념에서 도출된 새로운 ParVI가 기존 방법들보다 실용적인 이점을 제공하는가?

주요 결과

• SVGD는 벡터 값 RKHS로의 투사를 통해 P2(X)에서 Wasserstein 그래디언트 흐름을 근사하는 것으로 해석할 수 있으며, SVGD를 실제 그래디언트 흐름과 연결한다.
• 모든 ParVI는 그래디언트 흐름을 시뮬레이션하기 위해 본질적으로 스무싱(밀도 스무싱 또는 함수 스무싱)을 수행하며, 두 스무싱 관점은 밀도-함수 교환가능성에 의해 등가이다.
• GFSD와 GFSF라는 새로운 ParVI가 스무싱 원칙에서 구성되어 기존 방법을 넘어 ParVI 가족을 확장한다.
• Wasserstein 공간에서의 가속 프레임워크(WAG 및 WNes)는 역지수 매핑과 병렬 수송과 같은 리만 기하를 활용하여 ParVI의 수렴을 개선할 수 있다.
• 열 방정식에 바탕한 원리 기반 커널 대역폭 선택 방법은 밀도 진화를 스무딩과 일치시켜, 휴리스틱 대역폭보다 샘플 품질을 향상시킨다.
• 실험 결과는 가속 프레임워크로 인한 수렴 개선과 원리 기반 대역폭 방법으로 인한 샘플 정확도 향상을 보여준다.