[논문 리뷰] Stein Variational Gradient Descent: A General Purpose Bayesian Inference Algorithm

Qiang Liu, Dilin Wang|arXiv (Cornell University)|2016. 08. 16.

Gaussian Processes and Bayesian Inference참고 문헌 33인용 수 325

한 줄 요약

SVGD는 RKHS에서의 기능적 경사 하강을 통해 파티클 집합을 목표 분포로 전달하며, 한 파티클로 MAP로 축소되는 일반-purpose 변분 추론 방법을 제공합니다.

ABSTRACT

We propose a general purpose variational inference algorithm that forms a natural counterpart of gradient descent for optimization. Our method iteratively transports a set of particles to match the target distribution, by applying a form of functional gradient descent that minimizes the KL divergence. Empirical studies are performed on various real world models and datasets, on which our method is competitive with existing state-of-the-art methods. The derivation of our method is based on a new theoretical result that connects the derivative of KL divergence under smooth transforms with Stein's identity and a recently proposed kernelized Stein discrepancy, which is of independent interest.

연구 동기 및 목표

• 다양한 모델과 대규모 데이터 세트를 처리할 수 있는 일반적이고 사용하기 쉬운 변분 추론 도구의 필요성을 제시한다.
• KL 발산을 명시적 정규화 상수를 요구하지 않고 최적화하는 파티클 기반 변분 프레임워크를 개발한다.
• 커널화된 Stein 불일치와 RKHS를 사용해 닫힌 형식의 최적 섭동 방향을 도출한다.
• 그레이디언트 디센트를 모방하고 모델 특유의 VI 방법을 넘어서 확장하는 구현 가능한 알고리즘을 제공한다.

제안 방법

• 변분 가족을 참조 분포로부터의 변환 샘플 z=T(x)로 표현한다.
• 작은 섭동 T(x)=x+εφ(x)를 사용하고 Stein의 항등식을 적용하여 KL 도함수를 Stein 연산자와 관련시킨다.
• 커널화된 Stein 불일치(KSD)를 정의하여 RKHS에서 닫힌 형식의 최적 섭동 φ*를 얻는다.
• 가장 가파른 하강 방향 φ*는 φ*_{q,p}(·)=E_{x~q}[k(x,·)∇_x log p(x)+∇_x k(x,·)]으로 도출된다.
• 입자들로부터 추정된 φ̂^*(x)로 간단한 SVGD 업데이트를 제공한다: x_i^{ℓ+1} = x_i^ℓ + ε_ℓ φ̂^*(x_i^ℓ).
• 또한 ∇_x log p의 미니배치 처리 및 커널 행렬 처리 등 계산적 고려사항에 대해 논의한다.

실험 결과

연구 질문

• RQ1 KL 발산을 정규화 상수 Z를 계산하지 않고 기 smooth 변환을 통해 어떻게 최소화할 수 있는가?
• RQ2 주어진 현재 분포에 대해 KL 발산의 가장 급격한 하강을 야기하는 RKHS에서의 최적 섭동 방향은 무엇인가?
• RQ3 간단하고 일반적인 파티클 기반 변분 방법이 다양한 베이지안 모델에서 경쟁력 있는 성능을 달성할 수 있는가?
• RQ4 하나의 파티클을 사용할 때 SVGD는 MAP와 어떤 관련이 있으며 여러 파티클을 사용할 때 어떻게 확장되는가?
• RQ5 대규모 데이터셋에서 SVGD를 구현하기 위한 실용적 고려사항(대역폭, 배치 처리, 효율성)은 무엇인가?

주요 결과

• 제안된 알고리즘은 toy 및 실제 모델 전반에서 최첨단 방법과 비교해 경쟁력 있는 성과를 보인다.
• 단일 파티클일 때 SVGD는 MAP에 대한 경사 상승으로 축소되며, 전통적 VI를 넘어선 일반화를 보여준다.
• 파티클 업데이트는 높은 확률 영역으로의 평활화된 그래디언트와 다양성을 유지하는 반발 항을 결합한다.
• 커널화된 Stein 불일치는 RKHS 단위 구에서 가장 가파른 KL 하강을 위한 원칙적이고 닫힌 형식의 방향을 제공한다.
• 미니배치 그래디언트 추정과 병렬화 가능한 파티클 업데이트를 통해 효율성을 달성하여 SVGD를 대규모 데이터세트에 확장 가능하게 한다.
• SVGD용 코드는 저자들의 저장소에서 공개적으로 이용 가능하다.