[논문 리뷰] Projected Stein Variational Gradient Descent

Peng Chen, Omar Ghattas|arXiv (Cornell University)|2020. 02. 09.

Markov Chains and Monte Carlo Methods참고 문헌 23인용 수 19

한 줄 요약

이 논문은 로그우도의 기울기 정보를 사용하여 매개변수를 저차원 부분공간에 투영함으로써 고차원 베이지안 추론을 위한 확장 가능한 방법인 투영된 스틸 변분 기울기 하강법(pSVGD)을 제안한다. 감소된 계수 공간에서 SVGD를 적용함으로써 pSVGD는 표준 SVGD에 비해 더 높은 정확도와 확장 가능성을 달성하며, 차원 감소가 300배 이상의 압축을 유지하면서도 차원 수가 16,641에 이르는 경우에도 높은 정확도를 유지한다.

ABSTRACT

The curse of dimensionality is a longstanding challenge in Bayesian inference in high dimensions. In this work, we propose a projected Stein variational gradient descent (pSVGD) method to overcome this challenge by exploiting the fundamental property of intrinsic low dimensionality of the data informed subspace stemming from ill-posedness of such problems. We adaptively construct the subspace using a gradient information matrix of the log-likelihood, and apply pSVGD to the much lower-dimensional coefficients of the parameter projection. The method is demonstrated to be more accurate and efficient than SVGD. It is also shown to be more scalable with respect to the number of parameters, samples, data points, and processor cores via experiments with parameters dimensions ranging from the hundreds to the tens of thousands.

연구 동기 및 목표

• 매개변수 수의 증가에 따라 계산 복잡도가 기하급수적으로 증가하는 고차원 베이지안 추론에서의 차원의 고통 문제를 해결한다.
• 불안정성과 데이터 기반 부분공간 구조로 인해 발생하는 사후 분포의 내재적 저차원성 활용.
• 복잡한 우도를 가진 고차원 문제에서 정확도를 유지하면서도 확장 가능한 결정론적 변분 추론 방법 개발.
• 적응형 투영을 통해 차원 감소를 실시함으로써 대규모 문제에 대한 효율적인 추론을 가능하게 한다.
• 매개변수, 샘플, 데이터 포인트, 프로세서 코어 수에 대해 강한 병렬 확장 가능성을 달성한다.

제안 방법

• 로그우도의 정보 기울기 행렬을 사용하여 고차원 매개변수를 데이터 기반의 변화 방향을 반영하는 저차원 부분공간으로 투영한다.
• 정보 기울기 행렬의 고유값 분해를 통해 적응적으로 부분공간을 구성함으로써 주요 사후 기반 방향을 포착한다.
• 투영된 매개변수의 저차원 계수에 대해 스틸 변분 기울기 하강법(SVGD)을 적용하여 효율적인 사후 근사 추정을 가능하게 한다.
• 적절한 가정 하에 계수 공간에서의 운반과 투영된 매개변수 공간에서의 운반 간의 동치성을 증명함으로써 사후 충실도를 보장한다.
• 스텝 크기 선택을 위해 선형 탐색을 사용하고, 기울기 계산, 커널 평가, 샘플 갱신에 대해 병렬 알고리즘을 구현하여 강한 확장 가능성을 확보한다.
• 후행 오차를 작게 유지하기 위해 고유값을 기반으로 부분공간을 잘라내며, λ_{r+1} < 10^{-2} 조건을 만족시킨다.

실험 결과

연구 질문

• RQ1 로그우도 기울기 정보로부터 구성된 저차원 부분공간이 고차원 베이지안 추론에서 사후 분포를 효과적으로 포착할 수 있는가?
• RQ2 이러한 부분공간으로 추론 문제를 투영함으로써 계산 비용을 감소시키면서도 사후 정확도를 유지할 수 있는가?
• RQ3 표준 SVGD에 비해 pSVGD는 매개변수 수, 샘플 수, 데이터 포인트 수, 프로세서 코어 수에 대해 어떻게 확장 가능한가?
• RQ4 정보 기울기 행렬의 고유값 감쇠를 통해 투영 오차를 유계로 제어할 수 있는가?
• RQ5 제안된 프레임워크 하에서 계수 공간에서의 운반과 투영된 매개변수 공간에서의 운반은 동치인가?

주요 결과

• pSVGD는 차원 수가 289에서 16,641에 이르는 범위에서 사후 분산을 매우 높은 정확도로 포착하는 반면, 표준 SVGD는 고차원에서 실패한다.
• 이 방법은 300배 이상의 차원 감소를 달성하며, 최대 16,641개의 차원 중 약 50개의 유효 차원(r ≈ 50)만 유지하면서 상대적 투영 오차 𝒪(𝑟) < 10^{-6}를 확보한다.
• 고유값이 급격히 감쇠함(약 7개 지수 정도 감쇠), 이는 저차원 사후 기반 부분공간 존재를 확인한다.
• 다양한 차원에서 평균 스텝 노름이 유사하게 감소함으로써 매개변수 수에 대한 확장 가능성을 시사한다.
• pSVGD는 샘플 수(N), 데이터 포인트 수(s), 프로세서 코어 수(K)에 대해 강한 확장 가능성을 보이며, 고정된 작업에 대해 CPU 시간이 거의 O(K⁻¹) 비율로 감소한다.
• 데이터 포인트 수가 증가함에 따라 고유값 감쇠 속도가 일관되므로, 데이터 포인트 수에 대해 약한 확장 가능성을 보인다.