[논문 리뷰] Projected Stein Variational Newton: A Fast and Scalable Bayesian Inference Method in High Dimensions

Peng Chen, Keyi Wu외 3명|arXiv (Cornell University)|2019. 01. 24.

Markov Chains and Monte Carlo Methods참고 문헌 29인용 수 16

한 줄 요약

이 논문은 높은 차원의 사후 분포의 내재된 저차원 기하학적 구조를 헤시안 기반의 부분공간 투영을 통해 활용하는 빠르고 확장 가능한 베이지안 추론 방법인 투영 스틸 변분 뉴턴(pSVN)을 제안한다. 평균 헤시안의 주요 고유벡터로 정의된 저질서 부분공간으로 표본을 투영함으로써, pSVN은 치수에 독립적인 수렴성과 뛰어난 병렬 확장성을 확보하며, 고차원 선형 및 비선형 문제에서 정확도와 속도 면에서 SVGD와 SVN을 능가한다.

ABSTRACT

We propose a fast and scalable variational method for Bayesian inference in high-dimensional parameter space, which we call projected Stein variational Newton (pSVN) method. We exploit the intrinsic low-dimensional geometric structure of the posterior distribution in the high-dimensional parameter space via its Hessian (of the log posterior) operator and perform a parallel update of the parameter samples projected into a low-dimensional subspace by an SVN method. The subspace is adaptively constructed using the eigenvectors of the averaged Hessian at the current samples. We demonstrate fast convergence of the proposed method and its scalability with respect to the number of parameters, samples, and processor cores.

연구 동기 및 목표

• 고차원 베이지안 추론에서 발생하는 치수의 고통 문제를 해결한다. 기존의 MCMC 및 변분 방법은 지수적 복잡도 또는 열악한 수렴성으로 인해 어려움을 겪는다.
• 사후 분포의 내재된 저차원 기하학적 구조를 활용한다. 이는 로그 사후 분포의 헤시안 고유값의 급격한 감쇠 특성으로 특징지어진다.
• 파arameter 수와 표본 수에 관계없이 높은 정확도와 빠른 수렴성을 유지하는 확장 가능하고 병렬 처리 가능한 알고리즘을 개발한다.
• 16,000차원에 이르는 고차원 매개변수 공간을 가진 선형 및 비선형 역문제에서 본 방법의 효과성을 입증한다.

제안 방법

• 음의 로그 사후 분포의 평균 헤시안의 주요 고유벡터가 생성하는 부분공간으로 매개변수 표본을 투영한다. 이는 무작위 행렬 자유 SVD를 통해 계산된다.
• 감소된 부분공간에서 스틸 변분 뉴턴(SVN) 업데이트를 적용하여 입자 집합을 사후 분포로 점진적으로 이동시킨다.
• 부분공간 내에서 커널 기반의 운반 맵 표현을 사용하며, 커널 및 그 기울기 평가 비용은 전체 치수 $ d $ 가 아니라 내재 치수 $ r $ 에만 의존한다.
• 헤시안의 로그 사후 분포를 기반으로 각 반복 단계에서 부분공간을 적응적으로 구성함으로써, 데이터에 기반한 사후 분포의 기하학적 구조를 포괄한다.
• 계산 부담을 프로세서 간에 분할하며, 주요 비용(헤시안 및 정방향 해법)은 병렬 처리되며, 커널 및 뉴턴 해법 비용은 내재 치수 $ r $ 에만 의존한다.
• 저차원 업데이트를 원래 매개변수 공간으로의 투영을 통해 전체 치수의 표본으로 재구성한다.

실험 결과

연구 질문

• RQ1 로그 사후 분포의 헤시안에 의해 드러나는 사후 분포의 내재된 저차원 기하학적 구조를 활용하여, 베이지안 추론에서 치수에 독립적인 수렴성을 달성할 수 있는가?
• RQ2 헤시안 고유벡터로 정의된 저차원 부분공간으로 입자 업데이트를 투영하는 것이, SVGD 및 SVN과 같은 전체 치수 방법보다 더 빠른 수렴성과 높은 정확도를 제공하는가?
• RQ3 이 방법의 계산 복잡도를 명목상의 매개변수 치수 $ d $ 와 표본 수 $ N $ 에 독립적으로 만들 수 있는가, 同시에 확장성은 유지되는가?
• RQ4 프로세서 코어 수가 증가함에 따라 방법의 확장성은 어떻게 변화하며, 실제로 강력한 확장성(strong scaling)을 달성하는가?
• RQ5 표준 방법이 실패하는 비선형 및 고차원 문제(예: $ d > 10^4 $)에서 본 방법은 어느 정도 효과적인가?

주요 결과

• 1089차원의 2D 로그노멀 확산 문제에서, pSVN은 평균과 점별 분산 추정 모두에서 SVN보다 더 빠른 수렴성과 높은 정확도를 보였으며, RMSE는 반복 과정에서 감소하였다.
• 고차원 설정($ d = 16,384 $)에서 내재 치수 $ r $ 는 약 40에서 안정적으로 유지되어, 명목 치수에 관계없이 사후 분포의 기하학적 구조가 효과적으로 저차원임을 시사한다.
• pSVN의 수렴성은 표본 수 $ N $ 에 독립적이었으며, $ N = 32 $ 에서 $ 512 $ 까지의 다양한 $ N $ 에서도 업데이트 노름 $ \norm{w^l - w^{l-1}} $ 의 감쇠 속도가 유사함을 통해 입증되었다.
• pSVN은 최대 128개의 프로세서 코어에서 거의 완벽한 강력한 확장성(strong scaling)을 보였으며, 벽시계 시간이 코어 수에 비례하여 감소했고, 주요 비용(헤시안 및 정방향 해법)은 효율적으로 확장되었다.
• pSVN에서 커널 평가 및 뉴턴 시스템 해법의 계산 비용은 전체 매개변수 치수 $ d $ 가 아니라 내재 치수 $ r $ 에만 의존하여 확장 가능성을 보였다.
• 16K차원 문제에서 단지 32개의 표본으로도 높은 정확도를 달성하여, 극한의 차원에서의 강건성과 효율성을 입증하였다.