[논문 리뷰] Modelling local and global phenomena with sparse Gaussian processes

Jarno Vanhatalo, Aki Vehtari|arXiv (Cornell University)|2012. 06. 13.

Gaussian Processes and Bayesian Inference참고 문헌 16인용 수 25

한 줄 요약

이 논문은 장거리 스케일 현상에 대해 완전히 독립된 조건부(FIC) 근사와 단거리 스케일 특징에 대해 콤팩트 서포트(CS) 공분산 함수를 조합하는 새로운 희소 가우시안 프로세스 모델을 제안한다. CS 커널의 희소성과 FIC의 효율성을 활용하여, 이 방법은 FIC와 동일한 계산 복잡도를 유지하면서도 기존의 가감법보다 지역적 및 전반적인 데이터 구조를 더 정확하게 모델링한다.

ABSTRACT

Much recent work has concerned sparse approximations to speed up the Gaussian process regression from the unfavorable O(n3) scaling in computational time to O(nm2). Thus far, work has concentrated on models with one covariance function. However, in many practical situations additive models with multiple covariance functions may perform better, since the data may contain both long and short length-scale phenomena. The long length-scales can be captured with global sparse approximations, such as fully independent conditional (FIC), and the short length-scales can be modeled naturally by covariance functions with compact support (CS). CS covariance functions lead to naturally sparse covariance matrices, which are computationally cheaper to handle than full covariance matrices. In this paper, we propose a new sparse Gaussian process model with two additive components: FIC for the long length-scales and CS covariance function for the short length-scales. We give theoretical and experimental results and show that under certain conditions the proposed model has the same computational complexity as FIC. We also compare the model performance of the proposed model to additive models approximated by fully and partially independent conditional (PIC). We use real data sets and show that our model outperforms FIC and PIC approximations for data sets with two additive phenomena.

연구 동기 및 목표

• 기존의 희소 가우시안 프로세스 방법이 단일 공분산 함수에 국한되어 있어 실제 데이터에서 장거리 및 단거리 스케일 패턴을 모두 포착하지 못할 수 있는 한계를 해결하기 위해.
• FIC를 통해 전반적인 추세를 동시에 포착하고, 콤팩트 서포트 공분산 함수를 통해 국소적 변동을 포착하는 계산 효율적인 모델을 개발하기 위해.
• FIC와 동일한 계산 복잡도를 유지하면서 혼합 스케일 현상이 있는 데이터에서 예측 성능을 향상시키기 위해.
• 실제 데이터셋에서 표준 근사법인 FIC 및 부분적으로 독립된 조건부(PIC)와의 비교를 통해 제안된 모델을 평가하기 위해.

제안 방법

• 모델은 전반적인 장거리 의존성에 대해 완전히 독립된 조건부(FIC) 근사를, 국소적인 단거리 변동에 대해 콤팩트 서포트(CS) 공분산 함수를 조합한 가감 구조를 사용한다.
• CS 공분산 함수는 공분산 행렬의 희소성을 유도하여 밀도 있는 커널에 비해 계산 비용을 감소시킨다.
• CS 성분의 희소성과 FIC의 조건부 독립성 구조를 활용함으로써, FIC와 동일한 O(nm²) 계산 복잡도를 유지한다.
• 공분산 행렬의 공동 사후분포는 변분 추론을 사용하여 근사하며, FIC 성분을 나타내기 위해 유도점이 사용되고, CS 커널은 국소적 이웃에 직접 적용된다.
• 모델은 희소 구조 덕분에 효율적인 계산이 가능한 하이퍼파rameter 최적화를 통해 최대 우도 기반으로 훈련된다.

실험 결과

연구 질문

• RQ1 희소 가우시안 프로세스 모델이 하나의 프레임워크 안에서 장거리 및 단거리 스케일 현상을 효과적으로 포착할 수 있는가?
• RQ2 FIC와 콤팩트 서포트 공분산 함수를 조합하면 표준 FIC 또는 PIC 근사보다 더 나은 예측 성능을 낼 수 있는가?
• RQ3 제안된 모델은 국소적 구조를 통합하면서도 FIC의 O(nm²) 복잡도를 유지할 정도로 계산적으로 효율적인가?
• RQ4 혼합 스케일 행동을 보이는 실세계 데이터셋에서 모델의 성능은 어떠한가?

주요 결과

• 제안된 모델는 FIC와 동일한 계산 복잡도를 확보하여 대규모 데이터셋에서의 확장 가능한 추론을 가능하게 한다.
• 전반적인 추세와 국소적 특징을 모두 포함한 실세계 데이터셋에서, 모델은 FIC 및 PIC 근사보다 예측 정확도에서 뛰어난 성능을 보였다.
• 콤팩트 서포트 공분산 함수의 사용은 정밀도 행렬의 자연스러운 희소성을 유도하여 메모리 및 계산 비용을 감소시켰다.
• 가감 구조 덕분에 단일 커널 근사보다 더 복잡한 데이터 패턴을 더 잘 모델링할 수 있었다.