[논문 리뷰] MuyGPs: Scalable Gaussian Process Hyperparameter Estimation Using Local Cross-Validation

Amanda Muyskens, Benjamin W. Priest외 2명|arXiv (Cornell University)|2021. 04. 29.

Gaussian Processes and Bayesian Inference참고 문헌 35인용 수 6

한 줄 요약

MuyGPs는 전체 공분산 행렬을 계산하지 않고도 커널 하이퍼파rameter를 최적화할 수 있도록 k-최근접 이웃을 기반으로 한 국소 교차검증을 사용하는 확장 가능한 가우시안 프로세스 하이퍼파rameter 추정 방법을 제안한다. 이는 예측 정확도(RMSE 1.42)와 계산 효율성에서 기존 방법을 능가하며, 하루 종료 온도 벤치마크에서 1분 미만의 런타임으로 최신 기술 수준을 달성한다.

ABSTRACT

Gaussian processes (GPs) are non-linear probabilistic models popular in many applications. However, naïve GP realizations require quadratic memory to store the covariance matrix and cubic computation to perform inference or evaluate the likelihood function. These bottlenecks have driven much investment in the development of approximate GP alternatives that scale to the large data sizes common in modern data-driven applications. We present in this manuscript MuyGPs, a novel efficient GP hyperparameter estimation method. MuyGPs builds upon prior methods that take advantage of the nearest neighbors structure of the data, and uses leave-one-out cross-validation to optimize covariance (kernel) hyperparameters without realizing a possibly expensive likelihood. We describe our model and methods in detail, and compare our implementations against the state-of-the-art competitors in a benchmark spatial statistics problem. We show that our method outperforms all known competitors both in terms of time-to-solution and the root mean squared error of the predictions.

연구 동기 및 목표

• 데이터 크기에 따라 세제곱적으로 증가하는 전체 가우시안 프로세스 추론의 계산 병목 현상을 해결하기 위해.
• 비용이 많이 드는 우도 평가와 전체 공분산 행렬 저장을 피하는 확장 가능한 하이퍼파rameter 추정 방법을 개발하기 위해.
• 기존의 근사 GP 방법들과 비교해 예측 정확도를 향상시키고 계산 시간을 단축하기 위해.
• 국소적 이웃과 배치 최적화를 활용해 비정상적 GP 모델의 효율적인 추정을 가능하게 하기 위해.

제안 방법

• MuyGPs는 각 테스트 포인트의 k-최근접 이웃에 대해 한 개 포인트를 제외한 교차검증을 수행하여 전체 공분산 행렬을 형성하지 않고도 하이퍼파rameter를 추정한다.
• 지역 데이터만을 사용하여 국소 교차검증 평균제곱오차를 최소화함으로써 하이퍼파rameter를 최적화함으로써 계산 비용을 감소시킨다.
• 배치 기반 접근 방식을 사용하여 데이터를 작은 부분집합으로 나누어 처리함으로써 확장성과 메모리 사용량을 추가로 향상시킨다.
• 예측은 각 쿼리 위치에 대한 k-최근접 학습 포인트만을 사용하여 수행되며, 이로써 국소 적응성과 효율성이 보장된다.
• 정상적 및 비정상적 평균 함수를 모두 지원하며, 후자는 정확도를 약간 향상시킨다.
• 다양한 커널 함수와 호환되며, 2차 비정상 모델로의 확장도 가능하다.

실험 결과

연구 질문

• RQ1 대규모 GP 모델에서 국소적 k-최근접 이웃 기반 교차검증이 전역 우도 최대화보다 더 나은 하이퍼파라미터 추정을 가능하게 할 수 있는가?
• RQ2 MuyGPs의 성능은 예측 정확도와 런타임 측면에서 최신 기술 수준의 확장 가능한 GP 방법들과 비교해 어떻게 되는가?
• RQ3 배치 크기와 최근접 이웃 수가 정확도와 계산 비용 간의 상호 보완적 관계에 미치는 영향은 무엇인가?
• RQ4 MuyGPs는 금방이 계산 비용이 과도하게 증가하지 않도록 비정상적 GP 모델을 효과적으로 추정할 수 있는가?

주요 결과

• MuyGPs는 지표면 온도 벤치마크에서 RMSE 1.42를 기록하여 모든 알려진 경쟁자들보다 예측 정확도에서 뛰어난 성능을 보였다.
• 모든 계산을 1분 이내에 완료하여 동일한 데이터셋에서 이전에 테스트된 모든 방법보다 빠르게 작동했다.
• 약 50개의 근사 최근접 이웃만으로도 MuyGPs는 경쟁력 있는 정확도를 유지하여 이웃 수 감소에 대한 강건성을 입증했다.
• 95%의 예측 구간 커버리지율을 달성하여 명목상 수준에 매우 가까운 잘 校정된 예측 간격을 제공했다.
• 학습 데이터의 1.8%에 해당하는 2,000개의 배치 포인트만으로도 MuyGPs는 성능의 거의 제로 분산을 달성하여 안정성을 입증했다.
• 비정상적 평균 함수는 정확도를 약간이지만 측정 가능한 정도로 향상시켜, 복잡한 모델링 요구사항과의 호환성을 시사했다.