[논문 리뷰] Stein Variational Gradient Descent Without Gradient

Jun Han, Qiang Liu|arXiv (Cornell University)|2018. 06. 07.

Numerical methods in inverse problems참고 문헌 21인용 수 22

한 줄 요약

이 논문은 기울기가 없는 스틸 변분 기울기 강하(SVGD)의 변종인 GF-SVGD를 제안하며, 계산이 불가능한 타겟 밀도 기울기를 보조 분포에서 유도한 대체 기울기로 대체하고, 중요도 재가중을 통해 편향을 보정한다. 이 방법은 중요도 가중 커널을 사용하는 표준 SVGD로 이론적으로 근거를 두고 있어 기울기 접근이 불가능한 상황에서 빠르고 샘플 효율적인 추론이 가능하며, 고급 기울기 없는 MCMC 방법보다 수렴성과 정확도에서 뛰어나다.

ABSTRACT

Stein variational gradient decent (SVGD) has been shown to be a powerful approximate inference algorithm for complex distributions. However, the standard SVGD requires calculating the gradient of the target density and cannot be applied when the gradient is unavailable. In this work, we develop a gradient-free variant of SVGD (GF-SVGD), which replaces the true gradient with a surrogate gradient, and corrects the induced bias by re-weighting the gradients in a proper form. We show that our GF-SVGD can be viewed as the standard SVGD with a special choice of kernel, and hence directly inherits the theoretical properties of SVGD. We shed insights on the empirical choice of the surrogate gradient and propose an annealed GF-SVGD that leverages the idea of simulated annealing to improve the performance on high dimensional complex distributions. Empirical studies show that our method consistently outperforms a number of recent advanced gradient-free MCMC methods.

연구 동기 및 목표

• 표준 SVGD가 타겟 밀도 기울기 접근을 필요로 하는 제약을 해결하기 위해, 블랙박스 또는 계산 비용이 큰 추론 환경에서 흔히 발생하는 문제를 해결한다.
• 샘플링이 필요로 하지 않는 보조 제안 분포를 사용하면서도 이론적 일致성과 샘플 효율성을 유지하는 SVGD의 기울기 없는 대안을 개발한다.
• 고차원 복잡 분포에서의 성능을 향상시키기 위해 시뮬레이션 냉각을 기울기 없는 프레임워크에 통합한다.
• 편향된 기울기 추정을 사용하더라도 SVGD의 수렴 성질을 그대로 유지하는 이론적으로 탄탄한 방법을 제공한다.

제안 방법

• SVG D의 진정한 기울기 ∇log p(x)를 임의의 보조 분포 ρ(x)에서 유도한 대체 기울기 ∇log ρ(x)로 대체한다.
• 진짜 기울기 대체로 인해 발생하는 편향을 중요도 가중치 w_j = ρ(x_j)/p(x_j)를 사용해 기울기 재가중을 통해 보정한다.
• 이 방법을 중요도 가중 커널 w(x)w(x')k(x,x')를 사용하는 표준 SVGD 업데이트로 유도함으로써 원래 SVGD와의 이론적 일致성을 확보한다.
• 고차원에서 수렴을 향상시키기 위해 시뮬레이션 냉각을 사용해 보조 분포를 점진적으로 개선하는 안내된 변종(AGF-SVGD)을 도입한다.
• ρ(x)에서 샘플링이 필요 없으며, ρ(x)와 그 기울기 평가만으로도 가능하므로 ρ가 복잡하거나 비정규화된 경우에도 적용 가능하다.
• 목표 분포를 근사하기 위해 입자 집합을 사용하며, KL 발산을 최소화하는 기능적 기울기 흐름을 통해 입자들을 업데이트한다.

실험 결과

연구 질문

• RQ1 기울기 없는 SVGD의 변종을 구성할 수 있는가? 이는 이론적 일치성과 샘플 효율성을 유지해야 한다.
• RQ2 진짜 기울기를 대체 기울기로 대체함으로써 유발된 편향을 효과적으로 보정할 수 있는가?
• RQ3 실제 적용에서 최적의 성능을 내는 보조 분포 ρ(x)의 선택 기준은 무엇인가?
• RQ4 시뮬레이션 냉각을 기울기 없는 SVGD 프레임워크에 효과적으로 통합할 수 있는가? 이는 고차원 타겟에서의 수렴을 향상시킬 수 있는가?
• RQ5 최신 기울기 없는 MCMC 방법과 비교해 수렴 속도와 정확도에서 어떻게 성능을 냅니다?

주요 결과

• 제안된 GF-SVGD 방법은 중요도 가중 커널을 사용하는 표준 SVGD와 수학적으로 동일하므로, KL 발산 최소화를 위한 기울기 흐름 등 SVGD의 이론적 성질을 그대로 물려받는다.
• 실험 결과, GF-SVGD는 KAMH와 KHMC와 같은 고급 기울기 없는 MCMC 방법보다 수렴 속도와 정확도에서 일관되게 뛰어나며, 10,000단계의 버닝 인 기간을 제외한 경우에도 마찬가지로 성능이 뛰어나다.
• 안내된 GF-SVGD(AGF-SVGD) 변종은 토이 및 실제 GP 분류 과제에서 평균, 분산, MMD 추정에서 더 빠른 수렴과 뛰어난 성능을 보였다.
• d=9인 Glass 및 d=18인 SUSY 데이터셋에서, AGF-SVGD는 버닝 인 기간을 고려하지 않은 상태에서도 KAMH와 KHMC보다 더 빠르게 수렴하여 뛰어난 실용적 효율성을 입증했다.
• ρ(x)가 p(x)의 과도한 산산이거나 비정규화된 복잡한 근사이더라도, ρ(x)와 ∇log ρ(x)의 계산이 가능하다면 이 방법은 여전히 효과적이다.