[논문 리뷰] Fast Kernel Approximations for Latent Force Models and Convolved Multiple-Output Gaussian processes

Cristian Guarnizo, Mauricio A. Álvarez|arXiv (Cornell University)|2018. 05. 18.

Gaussian Processes and Bayesian Inference참고 문헌 18인용 수 11

한 줄 요약

이 논문은 잠재력장 모델(Latent Force Models, LFMs)과 물리적 역학을 가진 다중 출력 가우시안 프로세스를 위한 빠른 커널 근사 기법을 제안한다. Random Fourier Features(RFFs)를 사용하여 계산 비용이 큰 오차함수 기반 적분을 몬테카를로 근사로 대체한다. 이로 인해 계산 복잡도가 𝒪(D³N³)에서 𝒪(DNQ²S²)로 감소하여, 표본 크기가 증가함에 따라 정확도는 정확한 방법과 유사하게 유지하면서 더 빠른 추론을 가능하게 한다.

ABSTRACT

A latent force model is a Gaussian process with a covariance function inspired by a differential operator. Such covariance function is obtained by performing convolution integrals between Green's functions associated to the differential operators, and covariance functions associated to latent functions. In the classical formulation of latent force models, the covariance functions are obtained analytically by solving a double integral, leading to expressions that involve numerical solutions of different types of error functions. In consequence, the covariance matrix calculation is considerably expensive, because it requires the evaluation of one or more of these error functions. In this paper, we use random Fourier features to approximate the solution of these double integrals obtaining simpler analytical expressions for such covariance functions. We show experimental results using ordinary differential operators and provide an extension to build general kernel functions for convolved multiple output Gaussian processes.

연구 동기 및 목표

• 오차함수 수치적 평가에 기인한 잠재력장 모델에서 정확한 공분산 계산의 높은 계산 비용을 해결하기 위해.
• 물리적 역학을 가진 다중 출력 가우시안 프로세스를 위한 확장 가능한 근사 방법을 개발하기 위해.
• 다중 출력 GP 모델에서 커널 행렬의 역행렬 계산의 계산 복잡도를 낮추기 위해.
• 분석적 이重적분을 RFF 기반 몬테카를로 근사로 대체하여 LFMs에서 효율적인 추론을 가능하게 하기 위해.
• 잠재 함수 커널과 컨볼루션 구조를 분리함으로써 커널 설계의 유연성을 제공하기 위해.

제안 방법

• 잠재 함수 사전 분포의 지수 제곱(EQ) 커널을 근사하기 위해 Random Fourier Features(RFFs)의 사용.
• Bochner 정리를 적용하여 EQ 커널을 푸리에 적분으로 표현함으로써 스펙트럼 분해를 가능하게 하기 위해.
• 라플라스/푸리에 변환을 통해 이중 컨볼루션 적분을 두 개의 별개의 적분으로 분해하고, 이를 해석적으로 풀 수 있도록 하기 위해.
• 남은 적분을 S개의 랜덤 주파수 샘플을 사용하여 몬테카를로 근사함으로써, 커널 계산을 기저 함수들의 합으로 환원하기 위해.
• RFF 변환된 입력에 그린 함수를 적용하여 컨볼루션된 다중 출력 GP를 위한 연산자 값 커널을 구성하기 위해.
• 유연한 커널 구성 메커니즘을 사용하여 RFF 프레임워크를 일반적인 다중 출력 GP 모델, 비역학적 시스템 포함,에 적용하기 위해.

실험 결과

연구 질문

• RQ1 Random Fourier Features는 잠재력장 모델의 공분산 함수에서 계산 비용이 큰 이중 적분을 근사하는 데 사용될 수 있는가?
• RQ2 RFF 기반 방법의 근사 정확도는 랜덤 기저 수 S의 증가에 따라 어떻게 변화하는가?
• RQ3 제안된 방법은 예측 성능를 유지하면서 다중 출력 GP 추론의 계산 복잡도를 낮출 수 있는가?
• RQ4 RFF 기반 접근법은 표준 LFM 아키텍처를 초월한 일반적인 컨볼루션 다중 출력 가우시안 프로세스에 적용 가능한가?
• RQ5 잠재 함수 커널과 역학 시스템 구조를 분리함으로써 커널 설계의 유연성을 제공할 수 있는가?

주요 결과

• RFF 기반 근사는 정확한 컨볼루션 다중 출력 GP(CMOC)에 근접한 성능를 달성하며, S=1000일 때 RMSE 0.22, NLPD 3.36을 기록하여 CMOC의 0.19와 3.21에 근접한다.
• 반복당 계산 시간은 S 증가에 따라 크게 감소하여 S=1000일 때 85.00초로 감소하였고, CMOC의 353.00초에 비해 빠르게 나타난다.
• 성능는 S 증가에 따라 단조적으로 향상되며, 표본 크기가 증가함에 따라 정확한 방법으로 수렴하는 경향을 보인다.
• 계산 복잡도는 𝒪(D³N³)에서 𝒪(DNQ²S²)로 감소하여 대규모 다중 출력 GP 환경에서의 확장 가능한 추론을 가능하게 한다.
• RFF 분포의 재가중을 통해 잠재 과정에 대해 임의의 커널 함수를 허용함으로써 커널 설계의 유연성을 제공하는 프레임워크를 지원한다.
• 순차적 및 계층적 LFMs와 같은 복잡한 모델에서 효율적인 추론을 가능하게 하며, 고급 커널 조합 전략을 지원한다.