[논문 리뷰] Kernel Interpolation for Scalable Online Gaussian Processes

Samuel Stanton, Wesley J. Maddox외 2명|arXiv (Cornell University)|2021. 03. 02.

Gaussian Processes and Bayesian Inference참고 문헌 35인용 수 4

한 줄 요약

이 논문은 WISKI(Woodbury Inversion with SKI)를 제안하며, 구조적 커널 인터폴레이션과 웅버리 항등식을 사용하여 가우시안 프로세스에서 $Ó(1)$의 일정한 시간 복잡도로 온라인 업데이트를 수행하는 방법을 제공한다. 이는 각 업데이트에 대해 $Ó(1)$의 계산 비용으로 정확한 추론을 가능하게 하며, 변분 방법과 유사한 최고 수준의 속도를 달성하면서도 캘리브레이션된 불확실성과 정확한 사후 분포 추론을 유지한다. 이는 환율 예측을 위한 온라인 회귀, 베이지안 최적화, 활성 학습에 대해 검증되었다.

ABSTRACT

Gaussian processes (GPs) provide a gold standard for performance in online settings, such as sample-efficient control and black box optimization, where we need to update a posterior distribution as we acquire data in a sequential fashion. However, updating a GP posterior to accommodate even a single new observation after having observed $n$ points incurs at least $O(n)$ computations in the exact setting. We show how to use structured kernel interpolation to efficiently recycle computations for constant-time $O(1)$ online updates with respect to the number of points $n$, while retaining exact inference. We demonstrate the promise of our approach in a range of online regression and classification settings, Bayesian optimization, and active sampling to reduce error in malaria incidence forecasting. Code is available at https://github.com/wjmaddox/online_gp.

연구 동기 및 목표

• n개의 데이터 포인트에 대해 $Ó(n^3)$의 복잡도를 가지는 정확한 온라인 가우시안 프로세스 업데이트의 높은 계산 비용 문제를 해결하기 위해.
• 낮은 랭크 근사나 변분 추론에 의존하는 기존 방법에서 흔히 발생하는 근사 오차 없이 온라인 환경에서 정확한 추론을 가능하게 하기 위해.
• n에 대해 $Ó(1)$의 업데이트 복잡도를 달성하면서도 빠른 테스트 시점 예측과 캘리브레이션된 불확실성 유지하기 위해.
• 불확실성 캘리브레이션이 중요한 응용 분야인 베이지안 최적화와 활성 샘플링과 같은 실시간 의사결정 지원을 위해.
• 기존의 저랭크 근사나 변분 추론에 의존하는 온라인 GP 방법의 대안으로서 확장 가능하고 정확하며 효율적인 방법 제공하기 위해.

제안 방법

• 고정된 유도 포인트 집합을 사용하여 커널 행렬을 근사하는 구조적 커널 인터폴레이션(SKI)을 활용하여 효율적인 커널 평가를 가능하게 한다.
• 각 새로운 관측치 이후 예측 분포와 우도를 효율적으로 업데이트하기 위해 웅버리 항등식을 적용하며, 다시 계산하는 것을 피한다.
• 중간 계산 결과(예: 유도 포인트 기반 커널 행렬의 역행렬)를 캐시하여 온라인 업데이트 간에 재사용한다.
• 모든 업데이트에서 동일한 유도 포인트 구조를 재사용함으로써, 새로운 점 하나당 계산 비용이 n에 대해 일정한 $Ó(1)$을 유지한다.
• 변분 근사를 피함으로써 정확한 추론을 유지하고, 캘리브레이션된 불확실성 추정을 보존한다.
• 베이지안 최적화에서 배치 상한 신뢰도(UCB) 획득 함수를 사용하며, WISKI를 통한 온라인 업데이트로 높은 성능 유지를 한다.

실험 결과

연구 질문

• RQ1 정확한 추론과 캘리브레이션된 불확실성을 유지하면서도 $Ó(1)$의 온라인 업데이트 복잡도를 달성할 수 있는가?
• RQ2 온라인 회귀 작업에서 WISKI는 변분 및 정확한 GP 방법과 비교해 속도, 정확도, 불확실성 캘리브레이션 측면에서 어떻게 성능을 내는가?
• RQ3 빠르고 정확한 업데이트와 전역 분산 감소를 통해 WISKI는 활성 학습과 베이지안 최적화를 효과적으로 지원할 수 있는가?
• RQ4 O-SVGP와 같은 스트리밍 변분 GP 방법에서 관찰되는 과적합 및 일반화 능력 저하 문제를 WISKI는 피할 수 있는가?
• RQ5 최소한의 계산 오버헤드로 대규모 온라인 데이터셋에 대해 확장 가능하면서도 예측 성능를 유지할 수 있는가?

주요 결과

• WISKI는 n에 대해 $Ó(1)$의 업데이트 복잡도를 달성하며, 변분 방법과 동일한 속도를 유지하면서도 정확한 추론을 보존한다.
• 환율 데이터에 대한 온라인 회귀에서, WISKI는 O-SVGP와 O-SGPR를 모두 능가하며 고주파 트렌드를 학습하고 초기 데이터에 대한 과적합을 방지한다.
• UCI 파wr Plant 데이터셋에서, WISKI는 정확한 GP의 성능을 그대로 유지하며 O-SVGP보다 뛰어나다. O-SVGP는 노이즈를 과대평가하고 최적해에 도달하지 못하는 해에 수렴한다.
• Ackley 및 Levy 함수에 대한 베이지안 최적화에서, WISKI는 정확한 GP와 O-SVGP보다 훨씬 빠르며, 유사하거나 더 뛰어난 최적화 성능를 달성한다.
• 말라리아 유병률 예측을 위한 활성 학습에서, WISKI는 500회 반복 동안 RMSE를 계속 감소시키지만, O-SVGP는 약 250회 반복 후 쿼리 포인트의 국소 클러스터링으로 인해 정체된다.
• 활성 학습에서 WISKI는 다양하고 전역적으로 대표적인 쿼리 포인트를 선택하여 O-SVGP가 조밀한 영역에 포인트를 집중시키는 것과는 달리 전역 분산을 더 효과적으로 감소시킨다.