[논문 리뷰] Pathfinder: Parallel quasi-Newton variational inference

Lu Zhang, Bob Carpenter외 2명|arXiv (Cornell University)|2021. 08. 09.

Probabilistic and Robust Engineering Design참고 문헌 51인용 수 18

한 줄 요약

Pathfinder는 복잡한 사후 분포에 대한 정규 근사값을 생성하기 위해 준-뉴턴 최적화 경로를 사용하는 병렬 변분 추론 알고리즘으로, 공분산에 대해 역헤시안 추정치를 활용한다. 이 알고리즘은 1~2개의 주기 동안의 하이퍼볼릭 몬테카를로 체인과 유사한 성능을 달성하면서도 로그 밀도 및 기울기 평가 횟수를 1~2개의 주기 정도 줄여, 다핵심 시스템에서 증명 가능한 병렬 ELBO 평가를 통해 성능 향상을 이룬다.

ABSTRACT

We propose Pathfinder, a variational method for approximately sampling from differentiable log densities. Starting from a random initialization, Pathfinder locates normal approximations to the target density along a quasi-Newton optimization path, with local covariance estimated using the inverse Hessian estimates produced by the optimizer. Pathfinder returns draws from the approximation with the lowest estimated Kullback-Leibler (KL) divergence to the true posterior. We evaluate Pathfinder on a wide range of posterior distributions, demonstrating that its approximate draws are better than those from automatic differentiation variational inference (ADVI) and comparable to those produced by short chains of dynamic Hamiltonian Monte Carlo (HMC), as measured by 1-Wasserstein distance. Compared to ADVI and short dynamic HMC runs, Pathfinder requires one to two orders of magnitude fewer log density and gradient evaluations, with greater reductions for more challenging posteriors. Importance resampling over multiple runs of Pathfinder improves the diversity of approximate draws, reducing 1-Wasserstein distance further and providing a measure of robustness to optimization failures on plateaus, saddle points, or in minor modes. The Monte Carlo KL divergence estimates are embarrassingly parallelizable in the core Pathfinder algorithm, as are multiple runs in the resampling version, further increasing Pathfinder's speed advantage with multiple cores.

연구 동기 및 목표

• 정확성과 효율성 면에서 기존 방법들을 능가하는 확장 가능하고 강건한 변분 추론 방법을 개발하는 것.
• L-BFGS 최적화 경로를 통해 곡률 정보를 활용하여 복잡한 사후 분포에 대한 고품질 정규 근사값을 구성하는 것.
• 표준 VI에서 발생하는 순차적 병목 현상을 해결하기 위해 최적화 경로 상의 여러 지점에서 증명 가능한 병렬 ELBO 평가를 가능하게 하는 것.
• 여러 개의 Pathfinder 실행에 걸쳐 중요도 재표본 추출을 통해 근사 샘플의 다양성과 강건성을 향상시키는 것.
• 특히 하이퍼볼릭 몬테카를로 및 적응형 메트로폴리스 샘플러에서 MCMC 웜업 초기화의 빠르고 즉각적인 대체 수 Mittel을 제공하는 것.

제안 방법

• Pathfinder는 무작위 초기화에서 시작하여 L-BFGS를 사용해 사후 분포의 꼬리에서 모드로 향하는 준-뉴턴 최적화 경로를 생성한다.
• 최적화 경로를 따라 국소 역헤시안 추정치를 공분산 행렬로 사용하여 정규 근사값을 평가한다.
• 알고리즘은 각 정규 근사값에 대해 병렬로 ELBO를 계산하고, 진짜 사후 분포와의 KL 발산 추정치가 가장 낮은 것을 선택한다.
• 다양한 독립적인 Pathfinder 실행에 걸쳐 중요도 재표본 추출을 수행하여 샘플의 다양성과 최적화 실패에 대한 강건성을 향상시킨다.
• 재표본 추출 과정을 안정화하고 사후 분포 근사 품질을 향상시키기 위해 페아토 매끄러운 중요도 재표본 추출(PSIS)을 사용한다.
• 핵심 알고리즘은 병렬 처리가 매우 쉬운 편이며, 경로 상의 서로 다른 지점에서의 ELBO 평가는 상호 독립적이므로 다중 코어에 쉽게 분산될 수 있다.

실험 결과

연구 질문

• RQ1 준-뉴턴 최적화 경로를 사용하여 복잡한 사후 분포에 대한 고품질 정규 근사값을 생성할 수 있는가?
• RQ2 최적화 경로를 따라 ELBO를 병렬 평가하면 순차적 VI에 비해 계산 효율성이 크게 향상되는가?
• RQ3 1-워서스터 거리 측정 기준으로 Pathfinder의 성능은 ADVI 및 짧은 HMC 체인과 비교해 어떻게 되는가?
• RQ4 여러 개의 Pathfinder 실행에 걸쳐 중요도 재표본 추출을 수행하면 샘플의 다양성과 초기화 및 국소 최적값에 대한 강건성이 향상되는가?
• RQ5 Pathfinder는 하이퍼볼릭 몬테카를로 및 적응형 메트로폴리스 샘플러에서 MCMC 웜업 단계의 효과적이고 효율적인 대체 수 Mittel이 될 수 있는가?

주요 결과

• Pathfinder는 짧은 동적 하이퍼볼릭 몬테카를로 체인과 유사한 1-워서스터 거리의 근사 샘플을 생성하여 높은 품질의 사후 분포 근사가 가능함을 시사한다.
• 특히 도전적인 사후 분포에서, ADVI 및 짧은 HMC보다 로그 밀도 및 기울기 평가 횟수를 1~2개의 주기 정도 줄여 효율성을 확보한다.
• 병렬 ELBO 평가는 다핵심 시스템에서 뚜렷한 성능 향상을 이끌어내며, 모델이 복잡할수록 성능 향상이 더욱 두드러진다.
• 여러 개의 Pathfinder 실행에 걸친 중요도 재표본 추출은 1-워서스터 거리를 추가로 감소시키고, 평탄한 지역이나 미세한 국소 최적값에서의 최적화 실패에 대한 강건성을 향상시킨다.
• L-BFGS에서 유도된 역헤시안 추정치는 MCMC 적응에 대해 신뢰할 수 있는 초기 공분산 행렬을 제공할 수 있으며, 저차원 모델에서는 스탠의 두 번째 웜업 단계를 생략할 수 있다.
• 스케일 확장 재초기화와 결합할 경우, Pathfinder는 나쁜 초기화에 대해 강건하며, 여러 개의 사후 모드를 탐지할 수 있다.