[논문 리뷰] Scalable Exact Inference in Multi-Output Gaussian Processes

Wessel P. Bruinsma, Eric Perim외 4명|arXiv (Cornell University)|2019. 11. 14.

Gaussian Processes and Bayesian Inference참고 문헌 60인용 수 15

한 줄 요약

이 논문은 다중 출력 가우시안 프로세스에 대한 확장 가능한 정확한 추론 방법인 수직 순차 선형 혼합 모델(OILMM)을 제안한다. 이 방법은 은닉 차원 수 $ m $ 에 대해 선형 스케일링을 달성하여 계산 복잡도를 $ O(n^3m^3) $ 에서 $ O(n^3m + nmp + m^2p) $ 로 감소시킨다. 이 방법은 고차원 다중 출력 문제를 독립적인 단일 출력 문제로 분리하기 위해 충분통계량을 사용하며, 근사 없이 스케일링 가능한 정확한 추론을 가능하게 한다. 또한 기존의 GP 근사 방법과 즉시 통합이 가능하다.

ABSTRACT

Multi-output Gaussian processes (MOGPs) leverage the flexibility and interpretability of GPs while capturing structure across outputs, which is desirable, for example, in spatio-temporal modelling. The key problem with MOGPs is their computational scaling $O(n^3 p^3)$, which is cubic in the number of both inputs $n$ (e.g., time points or locations) and outputs $p$. For this reason, a popular class of MOGPs assumes that the data live around a low-dimensional linear subspace, reducing the complexity to $O(n^3 m^3)$. However, this cost is still cubic in the dimensionality of the subspace $m$, which is still prohibitively expensive for many applications. We propose the use of a sufficient statistic of the data to accelerate inference and learning in MOGPs with orthogonal bases. The method achieves linear scaling in $m$ in practice, allowing these models to scale to large $m$ without sacrificing significant expressivity or requiring approximation. This advance opens up a wide range of real-world tasks and can be combined with existing GP approximations in a plug-and-play way. We demonstrate the efficacy of the method on various synthetic and real-world data sets.

연구 동기 및 목표

• 다중 출력 가우시안 프로세스에서 정확한 추론의 금지적인 계산 비용을 해결하기 위해, 입력 크기 $ n $ 과 출력 차원 $ p $ 에 대해 세제곱 스케일링되는 문제를 해결한다.
• 기존의 저랭크 MOGP 모델인 순차 선형 혼합 모델(ILMM)과 같은 $ O(n^3m^3) $ 복잡도를 해결하기 위해, 중간 크기의 $ m $ 에서도 비현실적인 계산 비용을 줄이기 위한 방법을 개발한다.
• 은닉 부분공간의 치수인 $ m $ 에 대해 선형 스케일링을 달성하면서도 정확한 추론과 높은 표현력을 유지하는 방법을 개발한다.
• 실제 대규모 문제, 예를 들어 시공간 전력 가격 예측 및 기후 모델 校정에 대한 MOGP의 실용적 적용을 가능하게 한다.

제안 방법

• 수직 순차 선형 혼합 모델(OILMM)을 제안한다. 이는 다중 출력 추론을 독립적인 단일 출력 문제로 분리하기 위해 수직 기저를 활용하는 MOGP의 일종이다.
• 데이터의 충분통계량을 도입하여 공분산 행렬의 역행렬 계산 부담을 줄이고 정확한 추론을 가능하게 한다.
• 공분산 행렬의 역행렬 계산을 피하는, $ m $ 에 대해 선형적으로 의존하는 마진형 우도의 닫힌 표현식을 유도한다.
• 다중 출력 공분산을 랭크-일치 성분들의 합으로 분해하여, 독립적인 단일 출력 GP 추론을 통해 효율적인 계산을 가능하게 한다.
• 기존의 확장 가능한 GP 근사 방법(예: 변분 유도 점, 상태공간 방법)과 즉시 통합이 가능한 플러그 앤 플레이 방식을 지원한다.
• 가능한 최적화 및 샘플링을 가능하게 하면서도 정확한 추론을 유지하기 위해 우도와 예측 분포의 재정의를 사용한다.

실험 결과

연구 질문

• RQ1 정확한 다중 출력 가우시안 프로세스 추론이 은닉 차원 수 $ m $ 에 대해 대규모로 확장 가능하게 만들 수 있는가, 표현력은 유지하면서?
• RQ2 MOGP 추론의 계산 복잡도를 $ O(n^3m^3) $ 에서 $ m $ 에 대해 선형으로 줄일 수 있는가, 정확성을 유지하면서?
• RQ3 데이터의 충분통계량을 사용하여 고차원 다중 출력 문제를 독립적인 단일 출력 문제로 분리할 수 있는가?
• RQ4 기존의 확장 가능한 방법들인 크로네커 기법 또는 변분 근사와 비교했을 때, 제안된 방법의 성능과 속도는 어떠한가?
• RQ5 기존의 GP 근사 기법들과 즉시 통합이 가능한 플러그 앤 플레이 방식으로 효과적으로 통합될 수 있는가?

주요 결과

• OILMM는 $ O(n^3m + nmp + m^2p) $ 의 시간 복잡도와 $ O(n^2m + np + mp) $ 의 메모리 복잡도를 달성하며, 주요 항목이 $ m $ 에 대해 선형이므로 큰 $ m $ 에도 스케일링 가능하다.
• 실제 전력 가격 데이터셋($ n = 1000 $ 개 시간 포인트, $ p = 2313 $ 개 위치)에서 $ m = 40 $ 일 때 정확한 추론이 가능하여 $ 40{,}000 \times 40{,}000 $ 행렬의 역행렬 계산이 필요 없어졌다.
• 99\%의 분산을 설명하기 위해선 $ 120{,}000 \times 120{,}000 $ 행렬의 역행렬 계산이 필요하지만, 이는 표준 ILMM로는 비현실적이다. OILMM는 이를 피할 수 있었다.
• 합성 및 실세계 데이터에 대한 실험에서, OILMM는 작은, 경량의 연산만을 사용함에도 불구하고 크로네커 기법과 경쟁 가능한 성능을 보였다.
• $ n \gg p $ 인 경우 표준 ILMM보다 런타임에서 뛰어난 성능을 보였으며, $ n \approx p $ 인 경우에도 경쟁력 있는 성능 유지를 하였다.
• 대규모 기후 모델 校정 작업에서 OILMM는 공간 상관관계를 성공적으로 학습하고 유사성에 따라 모델을 군집화하여 시뮬레이터 간의 의미 있는 구조적 관계를 드러냈다.