[논문 리뷰] Wasserstein variational gradient descent: From semi-discrete optimal transport to ensemble variational inference

Luca Ambrogioni, Umut Güçlü외 1명|arXiv (Cornell University)|2018. 11. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 26인용 수 5

한 줄 요약

이 논문은 워샤르스타인 분산을 최소화하기 위해 반추적 최적 운반을 사용하는 입자 기반 변분 추론 방법인 워샤르스타인 변분 경사하강법(WVGD)을 소개한다. 기존의 KL 분산을 사용하는 방법과는 달리, 최적 운반 맵을 활용함으로써 커널 기반의 반발력을 필요로 하지 않으면서도 모드 붕괴를 방지하며, 각 입자에 대한 국소적 변분 근사가 해석 가능한 형태로 가능해져 보다 정확한 사후 분포 근사가 가능하다.

ABSTRACT

Particle-based variational inference offers a flexible way of approximating complex posterior distributions with a set of particles. In this paper we introduce a new particle-based variational inference method based on the theory of semi-discrete optimal transport. Instead of minimizing the KL divergence between the posterior and the variational approximation, we minimize a semi-discrete optimal transport divergence. The solution of the resulting optimal transport problem provides both a particle approximation and a set of optimal transportation densities that map each particle to a segment of the posterior distribution. We approximate these transportation densities by minimizing the KL divergence between a truncated distribution and the optimal transport solution. The resulting algorithm can be interpreted as a form of ensemble variational inference where each particle is associated with a local variational approximation.

연구 동기 및 목표

• 기존 입자 기반 변분 추론 방법의 한계, 특히 SVGD에서 입자 반발을 위해 임의의 커널 함수에 의존하는 문제를 해결한다.
• 유한 입자 수에서의 모드 붕괴 문제를 최적 운반 이론을 활용하여 해결한다.
• 최적 운반 맵을 통해 각 입자를 국소적 변분 근사와 유의미하게 연결하는 원리적인 방법을 제공한다.
• 각 입자가 사후 분포의 별개의 모드나 영역을 모델링할 수 있도록 가능한 앙상블 변분 추론을 가능하게 한다.
• 이전의 워샤르스타인 VI 접근 방식과 달리, 암시적 추론에 국한되지 않고 사후 분포에 직접 최적화가 가능한 방법을 개발한다.

제안 방법

• 입자 기반 근사와 진짜 사후 분포 사이의 반추적 최적 운반 분산을 최소화하는 방식으로 변분 추론을 공식화한다.
• 최적 운반 문제의 해를 활용해 각 입자를 사후 분포의 연속적 영역으로 매핑하는 운반 밀도를 도출한다.
• 최적 운반 맵을 파arametric 가족(예: 가우시안 믹스처)으로 근사하고, 근사값과 진짜 운반 맵 사이의 KL 분산을 최소화한다.
• 워샤르스타인 경사 하강 흐름 기반의 입자 동역학 업데이트 규칙을 유도하여 입자 위치와 국소적 변분 파라미터를 반복 최적화할 수 있도록 한다.
• 딥러닝 라이브러리와 호환 가능한 확률적 최적화 프레임워크와 입자 동역학을 통합한다.
• 결과로 도출된 운반 밀도를 활용해 각 입자에 대해 국소적 변분 근사를 구성함으로써 앙상블 VI 해석이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 최적 운반 이론을 활용해 인위적인 반발력을 피하는 입자 기반 변분 추론 방법을 구성할 수 있는가?
• RQ2 입자와 사후 분포 사이의 최적 운반 맵이 사후 분포 공간의 자연스럽고 해석 가능한 분할을 제공할 수 있는가?
• RQ3 반추적 워샤르스타인 분산을 최소화하는 것이, 기존의 KL 분산 최소화보다 유한 입자 수 설정에서 더 나은 사후 분포 근사 결과를 낳는가?
• RQ4 이전의 워샤르스타인 VI 접근 방식과 달리, 암시적 추론 없이도 이 방법을 적용할 수 있는가?
• RQ5 고차원 설정에서 WVGD의 근사 정확도와 수렴 성능이 SVGD에 비해 어떻게 비교되는가?

주요 결과

• 혼합 가우시안 벤치마크에서 WVGD는 SVGD보다 제곱오차 측면에서 일관되게 뛰어난 성능을 보이며, 조건이 유리한 SVGD가 입자 수를 3배로 늘여도 여전히 열등하다.
• 베이지안 로지스틱 회귀 작업에서 WVGD는 5개의 입자로도 표준 VI(1개의 입자)보다 높은 ELBO를 달성했으며, 보스턴 데이터셋에서는 최대 160의 향상, 암 데이터셋에서는 최대 320의 향상이 있었다.
• 이 방법은 사후 분포의 다중 모드를 성공적으로 포착했으며, 각 입자와 연결된 매개변수 공간의 구분된 영역으로 분할된 결과를 통해 이를 입증했다.
• WVGD가 학습한 운반 밀도는 가우시안 프로세스 공분산 함수에서 진동적 행동 대비 노이즈 유사 행동과 같은 의미 있는 데이터 해석을 가능하게 했다.
• WVGD의 입자 동역학은 최적 운반에 내재된 설명 제거 효과 덕분에 커널 기반의 반발력 없이도 자연스럽게 모드 붕괴를 방지한다.
• 이 방법은 다양한 데이터셋(Iris, Boston, Diabetes, Cancer)에서 안정적으로 ELBO 향상을 보이며, 입자 수 증가에 따라 일관된 성능 향상을 보였다.