[논문 리뷰] Efficiently Sampling Functions from Gaussian Process Posteriors

James T. Wilson, Viacheslav Borovitskiy외 3명|arXiv (Cornell University)|2020. 02. 21.

Gaussian Processes and Bayesian Inference참고 문헌 49인용 수 12

한 줄 요약

이 논문은 사전분포를 데이터에 의존하는 항과 분리하는 가우시안 프로세스의 새로운 인수분해를 제안하며, 이는 테스트 포인트의 선형 복잡도로 효율적인 사후 샘플링을 가능하게 한다. 이 분해를 스parse 근사와 결합함으로써, 계산 비용의 일부에 불과한 비용으로 정확한 사후 샘플링을 달성하며, GP 기반 모델에서 몬테카를로 추론의 확장성에 크게 기여한다.

ABSTRACT

Gaussian processes are the gold standard for many real-world modeling problems, especially in cases where a model's success hinges upon its ability to faithfully represent predictive uncertainty. These problems typically exist as parts of larger frameworks, wherein quantities of interest are ultimately defined by integrating over posterior distributions. These quantities are frequently intractable, motivating the use of Monte Carlo methods. Despite substantial progress in scaling up Gaussian processes to large training sets, methods for accurately generating draws from their posterior distributions still scale cubically in the number of test locations. We identify a decomposition of Gaussian processes that naturally lends itself to scalable sampling by separating out the prior from the data. Building off of this factorization, we propose an easy-to-use and general-purpose approach for fast posterior sampling, which seamlessly pairs with sparse approximations to afford scalability both during training and at test time. In a series of experiments designed to test competing sampling schemes' statistical properties and practical ramifications, we demonstrate how decoupled sample paths accurately represent Gaussian process posteriors at a fraction of the usual cost.

연구 동기 및 목표

• 테스트 포인트의 수에 따라 입자세제곱 시간 복잡도로 증가하는 가우시안 프로세스 사후분포에서의 샘플링 비용을 해결하기 위해.
• 런타임을 극적으로 줄이면서도 통계적 정확도를 유지하는 일반 목적의 샘플링 방법을 개발하기 위해.
• 사전분포와 데이터에 의존하는 성분을 분리함으로써, 대규모 GP 응용에서 효율적인 몬테카를로 추론을 가능하게 하기 위해.
• 학습 및 추론 모두에서 엔드 투 엔드 확장성을 확보하기 위해 기존의 스parse GP 근사와 원활하게 통합하기 위해.

제안 방법

• 이 방법은 GP 사후분포를 데이터에 의존하지 않는 사전분포 성분과 데이터에 의존하는 보정 항으로 나누는 인수분해를 도입한다.
• 이 분해는 사전분포에서 한 번 샘플링한 후, 저랭크 업데이트를 통해 관측된 데이터에 효율적으로 적응할 수 있게 한다.
• 정확도를 유지하면서 계산 복잡도를 감소시키기 위해 구조적 커널 근사와 스parse GP 기법을 활용한다.
• 보정 항은 사후 공분산의 저랭크 인수분해를 통해 계산되며, 희소성에 따라 O(n²) 또는 그 이하의 스케일링을 가능하게 한다.
• 샘플링 파이프라인은 모듈식이며 기존 GP 프레임워크와 호환되어 즉시 통합이 가능하다.
• 이 방법은 전체 및 스parse GP 설정 모두를 지원하여, 사후 정밀도를 훼손하지 않으면서도 테스트 시의 확장성을 보장한다.

실험 결과

연구 질문

• RQ1 우리는 GP 사후분포의 사전분포와 데이터에 의존하는 성분을 분리하여 더 빠른 샘플링을 가능하게 할 수 있는가?
• RQ2 제안된 인수분해가 계산 비용을 줄이면서도 진짜 사후분포의 통계적 성질을 유지하는가?
• RQ3 비싼 행렬 역행렬 계산에 의존하지 않고도 대규모 테스트 세트에 대해 효율적으로 확장 가능한가?
• RQ4 실제 추론 작업에서 제안된 샘플링 방법의 정확도와 속도는 기존 방법과 비교해 어떻게 되는가?
• RQ5 스parse GP 근사를 효과적으로 통합하여 엔드 투 엔드 확장성을 달성할 수 있는가?

주요 결과

• 제안된 방법은 사후분포 샘플링의 계산 비용을 희소성에 따라 O(n³)에서 O(n²) 또는 그 이하로 감소시킨다.
• 분리된 방법을 사용해 생성된 샘플 경로는 통계적 검증을 통해 진짜 GP 사후분포를 정확히 반영하고 있음을 확인하였다.
• 대규모 테스트 세트에서 표준 샘플링 기법에 비해 속도 향상이 크게 이루어졌으며, 최대 수십만 배의 속도 향상을 기록하였다.
• 저랭크 근사를 사용할 때조차도 높은 사후 정밀도를 유지하였으며, 속도와 정확도 모두 기준 방법보다 뛰어났다.
• 스parse GP 프레임워크와 원활하게 통합되어 실제 응용에서 확장 가능한 학습 및 추론을 가능하게 하였다.