[논문 리뷰] General linear-time inference for Gaussian Processes on one dimension.

Jackson Loper, David M. Blei외 2명|arXiv (Cornell University)|2020. 03. 11.

Gaussian Processes and Bayesian Inference참고 문헌 50인용 수 7

한 줄 요약

이 논문은 일차원 데이터에 대한 가우시안 프로세스(Gaussian Process)의 정확한 선형 시간 추론을 가능하게 하는 정적 공분산 커널 가족인 잠재 지수 생성(Latent Exponentially Generated, LEG) 가족을 소개한다. 안정적인 상태공간 표현을 활용함으로써, 임의의 정확도를 갖는 확장 가능한 가우시안 프로세스 추론을 실현하며, 수십억 개의 데이터 포인트를 포함하는 데이터셋을 지원한다. 이는 시계열 및 공간 데이터 분야에서 계산 효율성에 있어 돌풍과 같은 도약을 이룬다.

ABSTRACT

Gaussian Processes (GPs) provide a powerful probabilistic framework for interpolation, forecasting, and smoothing, but have been hampered by computational scaling issues. Here we prove that for data sampled on one dimension (e.g., a time series sampled at arbitrarily-spaced intervals), approximate GP inference at any desired level of accuracy requires computational effort that scales linearly with the number of observations; this new theorem enables inference on much larger datasets than was previously feasible. To achieve this improved scaling we propose a new family of stationary covariance kernels: the Latent Exponentially Generated (LEG) family, which admits a convenient stable state-space representation that allows linear-time inference. We prove that any continuous integrable stationary kernel can be approximated arbitrarily well by some member of the LEG family. The proof draws connections to Spectral Mixture Kernels, providing new insight about the flexibility of this popular family of kernels. We propose parallelized algorithms for performing inference and learning in the LEG model, test the algorithm on real and synthetic data, and demonstrate scaling to datasets with billions of samples.

연구 동기 및 목표

• 대규모 일차원 데이터셋에서 가우시안 프로세스 추론의 계산적 한계를 해결하기 위해.
• 정확한 선형 시간 추론을 가능하게 하면서도 높은 근사 정확도를 유지하는 커널 가족을 개발하기 위해.
• 임의의 연속적이고 적분 가능한 정적 커널이 LEG 가족의 원소를 통해 임의로 잘 근사될 수 있음을 증명하기 위해.
• 효율적인 추론과 학습을 위한 안정적인 상태공간 표현을 제공하기 위해.
• 기존의 2차 복잡도의 제약을 뛰어넘어, 수십억 건의 관측치를 포함하는 데이터셋으로의 가우시안 프로세스 추론 확장하기 위해.

제안 방법

• 논문은 일차원 데이터를 위한 정적 공분산 커널 가족인 잠재 지수 생성(Latent Exponentially Generated, LEG) 가족을 도입한다.
• LEG 커널은 효율적인 추론을 위해 칼만 필터링과 스무딩을 통해 실현 가능한 안정적이고 저차원의 상태공간 표현을 허용한다.
• 이 방법은 임의의 연속적이고 적분 가능한 정적 커널이 LEG 가족의 원소에 의해 임의로 잘 근사될 수 있음을 증명한다.
• 스펙트럼 혼합 커널(Spectral Mixture Kernels)과의 이론적 연결을 제시함으로써, 이들의 유연성과 근사 능력에 대한 새로운 통찰을 드러낸다.
• LEG 모델에서의 추론과 하이퍼파rameter 학습을 위한 병렬 알고리즘을 제안한다.
• 실제 및 시뮬레이션 데이터셋을 대상으로 검증하여, 수십억 개의 데이터 포인트까지 선형 시간 스케일링이 성공적으로 구현됨을 보였다.

실험 결과

연구 질문

• RQ1 일차원 데이터에 대한 가우시안 프로세스 추론을 정확한 선형 시간 내에서 수행하면서도 임의의 정확도를 유지할 수 있는가?
• RQ2 어떤 커널 가족이 안정적인 상태공간 표현을 갖추고 있어 선형 시간 추론을 가능하게 하는가?
• RQ3 LEG 커널 가족은 어떤 연속적이고 적분 가능한 정적 커널을 얼마나 잘 근사할 수 있는가?
• RQ4 LEG 가족과 스펙트럼 혼합 커널 간의 이론적 관계는 무엇인가?
• RQ5 제안된 방법은 실질적으로 수십억 건의 관측치를 포함하는 데이터셋으로 확장 가능한가?

주요 결과

• LEG 커널 가족은 일차원 데이터에 대한 가우시안 프로세스 추론을 정확한 선형 시간 내에서 수행할 수 있게 하여, 기존의 O(n³) 복잡도에서 O(n) 복잡도로 개선된다.
• 적절한 LEG 커널 선택을 통해 임의의 연속적이고 적분 가능한 정적 커널에 대해 임의의 정확도로 근사가 가능하다.
• 이론적 분석을 통해 LEG 가족이 정적 커널 근사에 있어 보편적임을 확인하였으며, 이는 스펙트럼 혼합 커널의 유연성에 대한 통찰을 확장한다.
• 실증적 평가에서는 수십억 개의 샘플을 포함하는 데이터셋에서도 성공적인 추론이 이루어졌으며, 실용적인 확장성은 입증되었다.
• 안정적인 상태공간 표현은 칼만 필터링과 스무딩을 통한 효율적이고 수치적으로 안정된 추론을 가능하게 한다.
• 학습 및 추론을 위한 병렬 알고리즘은 대규모 시계열 및 공간 데이터셋에 대한 구현을 가능하게 한다.