[논문 리뷰] EigenGP: Gaussian Process Models with Adaptive Eigenfunctions

Hao Peng, Yuan Qi|arXiv (Cornell University)|2014. 01. 02.

Gaussian Processes and Bayesian Inference참고 문헌 23인용 수 6

한 줄 요약

EigenGP는 재생 커널 힐버트 공간(RKHS) 내에서 데이터에 적응하는 고유함수를 기저 함수로 사용하는 새로운 희소 가우시안 프로세스 모델을 제안한다. 이 모델은 우도 최대화를 통해 사전 정밀도와 초매개변수를 함께 최적화하며, 계산 선형 대수를 활용해 기울기 계산을 단순화함으로써 SSGP, RVM, Nyström 방법과 비교해 예측 정확도와 효율성이 뛰어나며, 비정상적 데이터에서 특히 두각을 나타낸다. 벤치마크 데이터셋에서 오차가 최대 10배까지 감소하였다.

ABSTRACT

Gaussian processes (GPs) provide a nonparametric representation of functions. However, classical GP inference suffers from high computational cost for big data. In this paper, we propose a new Bayesian approach, EigenGP, that learns both basis dictionary elements--eigenfunctions of a GP prior--and prior precisions in a sparse finite model. It is well known that, among all orthogonal basis functions, eigenfunctions can provide the most compact representation. Unlike other sparse Bayesian finite models where the basis function has a fixed form, our eigenfunctions live in a reproducing kernel Hilbert space as a finite linear combination of kernel functions. We learn the dictionary elements--eigenfunctions--and the prior precisions over these elements as well as all the other hyperparameters from data by maximizing the model marginal likelihood. We explore computational linear algebra to simplify the gradient computation significantly. Our experimental results demonstrate improved predictive performance of EigenGP over alternative sparse GP methods as well as relevance vector machine.

연구 동기 및 목표

• 대규모 데이터셋에서 정확한 가우시안 프로세스 추론의 높은 계산 비용을 해결하기 위해.
• 고정된 기저 함수 대신 데이터에 의존하는 기저 함수를 학습시켜 비정상적 데이터에서 예측 성능을 향상시키기 위해.
• 고유함수, 사전 정밀도, 초매개변수를 공동으로 최적화하는 계산 효율적인 희소 GP 모델을 개발하기 위해.
• 외부 분포(out-of-distribution) 포인트에 대해 비영인 예측 분산을 가지는 무한 모델으로 확장함으로써 더 나은 불확실성 정량화를 가능하게 하기 위해.
• 기존 RVM 방식과 다름없이, 계산 선형 대수를 활용해 비공액(non-conjugate) 희소 GP 프레임워크에서 기울기 계산을 단순화하고 효율적인 최적화를 가능하게 하기 위해.

제안 방법

• EigenGP는 재생 커널 힐버트 공간(RKHS) 내에서 커널 함수의 선형 조합으로 이루어진 고유함수의 유한 선형 조합으로 GP를 표현한다.
• 모델은 우도 최대화를 통해 고유함수 기저 요소와 그에 해당하는 사전 정밀도를 함께 학습함으로써 데이터에 적응하는 기저 선택을 가능하게 한다.
• 최적화 과정은 커널 길이 척도, 기저 점 위치, 고유함수에 대한 사전 정밀도를 포함한 초매개변수를 공동으로 추정한다.
• 계산 선형 대수 기법을 사용해 우도 최대화를 위한 기울기 계산을 단순화함으로써 효율적인 학습을 가능하게 한다.
• 유한 모델을 무한 모델로 확장하기 위해 추가적인 커널 항을 도입하여, 외부 분포의 테스트 포인트에 대한 불확실성 추정을 향상시킨다.
• 모델은 $O(NM)$의 공간 복잡도와 $O(NM^2)$의 시간 복잡도를 가지며, SSGP와 유사하고 RVM보다 더 효율적이다. RVM은 $N$개의 기저 함수에 따라 스케일링된다.

실험 결과

연구 질문

• RQ1 RKHS 내에서 데이터에 적응하는 고유함수를 학습시키는 것이 고정 기저 함수 대비 희소 GP 모델의 예측 정확도를 향상시킬 수 있는가?
• RQ2 우도 최대화를 통한 고유함수, 사전 정밀도, 초매개변수의 공동 최적화가 기존의 희소 GP 방법보다 더 나은 일반화 성능을 이끌 수 있는가?
• RQ3 계산 선형 대수를 활용해 비공액 희소 GP 프레임워크에서 기울기 계산을 단순화하고 효율적인 최적화를 가능하게 할 수 있는가?
• RQ4 고정 기저 함수(예: 삼각함수 또는 RBF 기반)가 실패할 수 있는 비정상적 데이터에서 EigenGP는 어떻게 성능을 발휘하는가?
• RQ5 유한한 EigenGP 모델을 무한 모델로 확장하여 외부 분포 입력에 대한 예측 불확실성을 더 잘 포착할 수 있는가?

주요 결과

• Boston 주택 데이터셋에서 EigenGP는 두 번째로 우수한 성능을 보인 SSGP 대비 오차를 최대 10배까지 감소시켰으며, M=50개의 기저 함수를 사용할 때 NMSE는 0.0110 ± 0.0006을 기록했다.
• 캘리포니아 주택 데이터셋에서는 모든 M 값(25에서 400)에서 가장 낮은 NMSE를 기록했고, 다른 방법들보다 훨씬 빠른 학습 시간을 확보했다.
• EigenGP는 평균적으로 적절한 커널 폭 η=0.07을 학습했지만, FITC는 큰 폭 207.75를 학습하여 기저 점 선택이 열악해 성능이 떨어졌다.
• Nyström 방법은 우도 최대화로 최적화된 후에도 EigenGP에 비해 수개의 주기만큼 성능이 열 劣하며, 일부 데이터셋에서는 NMSE 값이 10^4를 초과했다.
• RVM은 NMSE 0.0111 ± 0.0004를 기록했지만, 1회 실행에 1.4초가 소요되었고, EigenGP는 M=50일 때 유사한 정확도를 0.89초 내에 달성하여 더 뛰어난 효율성을 보였다.
• EigenGP의 예측 평균과 표준편차는 특히 고주파 및 비정상 영역에서 SSGP 및 FITC보다 진짜 함수와 더 잘 일치하는 경향을 보였다.