[논문 리뷰] Fast Bayesian Inference with Batch Bayesian Quadrature via Kernel Recombination

Masaki Adachi, Satoshi Hayakawa외 3명|arXiv (Cornell University)|2022. 06. 09.

Gaussian Processes and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 배치 적응형 희소 정적분(BASQ)을 제안한다. 이는 커널 재조합을 통해 효율적이고 고표본 효율적인 사후 분포 및 모델 증거 추론을 가능하게 하는 빠르고 병렬 처리 가능한 베이지안 정적분 방법이다. 선형화된 중요도 제안 분포를 통해 커널 기반 정적분 점을 재가중 및 재조합함으로써 BASQ는 지수 수렴 속도를 달성하고 실제 데이터 세트, 예를 들어 리이온 이온 배터리 분석에서 기존의 배치 WSABI 및 네스티드 샘플링을 능가한다.

ABSTRACT

Calculation of Bayesian posteriors and model evidences typically requires numerical integration. Bayesian quadrature (BQ), a surrogate-model-based approach to numerical integration, is capable of superb sample efficiency, but its lack of parallelisation has hindered its practical applications. In this work, we propose a parallelised (batch) BQ method, employing techniques from kernel quadrature, that possesses an empirically exponential convergence rate. Additionally, just as with Nested Sampling, our method permits simultaneous inference of both posteriors and model evidence. Samples from our BQ surrogate model are re-selected to give a sparse set of samples, via a kernel recombination algorithm, requiring negligible additional time to increase the batch size. Empirically, we find that our approach significantly outperforms the sampling efficiency of both state-of-the-art BQ techniques and Nested Sampling in various real-world datasets, including lithium-ion battery analytics.

연구 동기 및 목표

• 베이지안 정적분(BQ)에서의 병렬 처리 부족으로 인해 실용적 사용이 제한되는 문제를 해결하기 위해.
• 반복적인 비용이 큰 평가를 피하기 위해 단일 계산에서 사후 분포와 모델 증거를 동시에 추론할 수 있도록 하기 위해.
• 기존의 배치 BQ 방법들, 예를 들어 배치 WSABI와 같이 계산 비용이 큰 다중 시작 최적화에 의존하고 국소 최고점 집합 현상으로 인해 비효율적인 문제를 해결하기 위해.
• 배치 크기가 증가함에 따라 최소한의 계산 오버헤드로 높은 정확도를 유지하는 스케일러블하고 희소 샘플링 전략을 개발하기 위해.
• 커널 재조합과 니스트롬 기반 테스트 함수를 사용하여 베이지안 추론의 수치 적분에서 지수 수렴 속도를 달성하기 위해.

제안 방법

• 선형화된 중요도 제안 분포 $ g(x) = (1-r)\pi(x) + rA(x) $를 구성하는 커널 재조합 프레임워크(RCHQ)를 제안하여 사전과 GP 분산을 융합해 배치 선택을 안내한다.
• 제안 분포 $ g(x) $ 에서의 부분표본 추출을 통해 경험적 측도를 형성함으로써 정적분 점의 효율적이고 견고한 선택을 가능하게 한다.
• 부분표본 점들로부터 니스트롬 방법을 적용해 유한한 테스트 함수를 구성함으로써 최악의 오차 최소화를 가능하게 한다.
• 최악의 통합 오차를 최소화하는 $ n $개의 배치 점을 선택하기 위해 단일 선형 프로그래밍(LP) 솔버 반복을 사용한다.
• 기존 계산을 재사용할 수 있는 희소 재조합 알고리즘을 도입하여 동적 배치 크기 증가에 있어 거의 추가 비용 없이 가능하게 한다.
• 제곱 지수 커널과 가우시안 사전을 사용할 때 가우시안 프로세스의 해석적 취급 가능성을 활용하여 적분의 평균과 분산을 정확히 계산한다.

실험 결과

연구 질문

• RQ1 커널 재조합은 실질적으로 지수 수렴 속도를 달성하는 병렬 베이지안 정적분 방법을 가능하게 할 수 있는가?
• RQ2 배치 BQ의 배치 점 선택에서 커널 재조합은 국소 페널티화 및 다중 시작 최적화와 비교해 어떻게 성능을 냈는가?
• RQ3 단일 추론 파이프라인을 통해 모델 증거와 사후 분포를 고효율로 동시에 추정할 수 있는가?
• RQ4 제안된 방법은 실제 고차원 데이터 세트에서 최신 기술인 BQ 및 네스티드 샘플링을 얼마나 뛰어나게 성능을 냈는가?
• RQ5 차원 수 증가 및 노이즈가 있는 가능도 평가 조건 하에서 커널 재조합 접근법은 얼마나 스케일러블하고 견고한가?

주요 결과

• BASQ는 수치 적분에서 경험적으로 지수 수렴 속도를 달성하여 벽시계 시간과 표본 효율성 측면에서 기존의 배치 WSABI 및 네스티드 샘플링을 크게 능가한다.
• 커널 재조합 방법은 국소 페널티화를 사용하는 배치 WSABI보다 더 희소하고 더 잘 분포된 배치 점을 선택하여 고분산 피크 주변의 집합 현상을 방지함으로써 통합 오차를 감소시킨다.
• 희소 재조합 알고리즘 덕분에 기존 계산을 재사용함으로써 동적 배치 크기 증가에 거의 추가 비용 없이 가능해졌다.
• 리이온 이온 배터리 분석 데이터에서 BASQ는 최신 기술인 BQ 및 네스티드 샘플링보다 뛰어난 성능을 보였으며, 더 빠른 수렴 속도와 낮은 오차를 기록했다.
• 선형화된 중요도 제안 분포의 사용으로 초기 단계의 불확실성 추정에 대한 의존도가 감소하여 배치 선택의 안정성과 견고성이 향상되었다.