[논문 리뷰] Practical Hilbert space approximate Bayesian Gaussian processes for probabilistic programming

Gabriel Riutort‐Mayol, Paul‐Christian Bürkner외 3명|arXiv (Cornell University)|2020. 04. 23.

Gaussian Processes and Bayesian Inference참고 문헌 47인용 수 26

한 줄 요약

이 논문은 완전 베이지안 가우시안 프로세스를 위한 실용적인 힐버트 공간 기반 저질서 근사법을 제안하며, 라플라스 고유함수를 사용하여 확률 프로그래밍에서 효율적이고 정확한 추론을 가능하게 한다. 이 방법은 기저 함수와 경계 요소의 적응형 선택을 통한 기저 전개를 통해 선형 계산 복잡도를 달성하며, 진단 및 스탠 구현을 통해 강력한 경험적 성능을 입증하였다.

ABSTRACT

Gaussian processes are powerful non-parametric probabilistic models for stochastic functions. However, the direct implementation entails a complexity that is computationally intractable when the number of observations is large, especially when estimated with fully Bayesian methods such as Markov chain Monte Carlo. In this paper, we focus on a low-rank approximate Bayesian Gaussian processes, based on a basis function approximation via Laplace eigenfunctions for stationary covariance functions. The main contribution of this paper is a detailed analysis of the performance, and practical recommendations for how to select the number of basis functions and the boundary factor. Intuitive visualizations and recommendations, make it easier for users to improve approximation accuracy and computational performance. We also propose diagnostics for checking that the number of basis functions and the boundary factor are adequate given the data. The approach is simple and exhibits an attractive computational complexity due to its linear structure, and it is easy to implement in probabilistic programming frameworks. Several illustrative examples of the performance and applicability of the method in the probabilistic programming language Stan are presented together with the underlying Stan model code.

연구 동기 및 목표

• 확률 프로그래밍 프레임워크에 적합한 확장 가능하고 완전 베이지안 가우시안 프로세스 방법을 개발하기 위해.
• 대규모 데이터셋에 대해 표준 GP 추론의 O(n³) 계산 복잡도 장벽을 해결하기 위해.
• 기저 함수 수와 경계 요소를 선택하기 위한 실용적이고 데이터 기반의 권고 사항을 제공하기 위해.
• 주어진 데이터에 대해 근사의 적합성을 검증하기 위한 진단을 도입하기 위해.
• 스탠 내 선형 복잡도, 비중앙 파arameterization을 통해 정확하고 효율적인 추론을 가능하게 하기 위해.

제안 방법

• 정적 커널에 대해 라플라스 고유함수를 사용하여 공분산 함수를 근사하고, 저질서 기저 전개를 형성하기 위해.
• i.i.d. 표준 정규 분포를 가진 계수를 갖는余弦 및 사인 기저 함수의 선형 조합으로 GP를 표현하기 위해.
• MCMC 혼합 및 사후 샘플링 효율성을 향상시키기 위해 비중앙 파arameterization을 적용하기 위해.
• 사후 길이 척도 추정치를 바탕으로 반복적 진단을 통해 기저 함수 수와 경계 요소를 적응적으로 선택하기 위해.
• 스펙트럼 분해를 통한 최적 경계 요소 및 최소 기저 수에 대한 해석적 표현을 적용하기 위해.
• 오픈소스 모델 코드를 제공하며, 확률 프로그래밍 언어 스탠에 이 방법을 구현하기 위해.

실험 결과

연구 질문

• RQ1 어떻게 하면 힐버트 공간 기반의 저질서 근사가 완전 베이지안 추론을 위한 실용적이고 효율적인 방법이 될 수 있는가?
• RQ2 기저 함수 수와 경계 요소를 선택하기 위한 효과적이고 데이터 기반의 전략은 무엇인가?
• RQ3 어떻게 하면 주어진 데이터셋에 대해 근사가 충분히 정확한지 검증할 수 있는 진단을 구성할 수 있는가?
• RQ4 이 방법은 m ≪ n 일 때 계산 복잡도를 O(nm²)로 줄이면서 정확성을 얼마나 유지하는가?
• RQ5 이 방법은 실질적인 확률 프로그래밍 워크플로우, 특히 스탠에서 어떻게 성능을 발휘하는가?

주요 결과

• J개의 기저 함수를 사용할 경우 선형 계산 복잡도 O(n(2J+1) + (2J+1)²)를 달성하여 확장 가능한 추론이 가능하다.
• 사후 길이 척도 추정치를 기반으로 한 진단 검사(예: ∣ℓ̂ − ℓ∣ ≤ 0.01)는 근사가 적합한지 신뢰성 있게 나타낸다.
• 진짜 길이 척도 ℓGP = 0.08인 경우, 반복적 절차는 3회 반복 후 수렴하였으며, 최종 진단에서 적합성이 확인되었다.
• 더 큰 길이 척도 ℓGP = 1.4인 경우, 첫 번째 반복에서 진단이 적합성을 확인하여 더 빠른 수렴을 보였다.
• 반복 과정에서 RMSE, R², ELPD의 안정성이 확인되어 근사가 충분한 정확도에 도달했다는 것을 확인하였다.
• 비중앙 파arameterization은 효율적인 MCMC 샘플링을 가능하게 하여, 스탠과 같은 확률 프로그래밍 프레임워크에의 통합에 적합한 성능을 발휘하였다.