[논문 리뷰] Kernel Interpolation for Scalable Structured Gaussian Processes (KISS-GP)

Andrew Gordon Wilson, Hannes Nickisch|arXiv (Cornell University)|2015. 03. 03.

Gaussian Processes and Bayesian Inference참고 문헌 29인용 수 214

한 줄 요약

이 논문은 구조적 커널 보간(Structured Kernel Interpolation, SKI) 프레임워크를 소개한다. 이는 커널 보간을 통해 커널 행렬을 근사화함으로써 확장 가능한 가우시안 프로세스 추론을 가능하게 하는 통합적 접근법이다. 국소적 3차 보간과 크론백/토플리츠 구조를 활용하여 KISS-GP는 O(n)의 시간 및 저장 복잡도를 달성하여, 임의로 위치한 입력과 함께 고정밀도, 확장 가능한 GP 추론을 실현하며, FITC와 비교해 수개의 주기 빠른 런타임을 제공한다.

ABSTRACT

We introduce a new structured kernel interpolation (SKI) framework, which generalises and unifies inducing point methods for scalable Gaussian processes (GPs). SKI methods produce kernel approximations for fast computations through kernel interpolation. The SKI framework clarifies how the quality of an inducing point approach depends on the number of inducing (aka interpolation) points, interpolation strategy, and GP covariance kernel. SKI also provides a mechanism to create new scalable kernel methods, through choosing different kernel interpolation strategies. Using SKI, with local cubic kernel interpolation, we introduce KISS-GP, which is 1) more scalable than inducing point alternatives, 2) naturally enables Kronecker and Toeplitz algebra for substantial additional gains in scalability, without requiring any grid data, and 3) can be used for fast and expressive kernel learning. KISS-GP costs O(n) time and storage for GP inference. We evaluate KISS-GP for kernel matrix approximation, kernel learning, and natural sound modelling.

연구 동기 및 목표

• 표준 가우시안 프로세스의 계산 복잡도가 O(n³)로 인해 작은 데이터셋에만 적용 가능하다는 계산적 병목 현상을 해결하기 위해.
• 기존의 유도점 방법들을 커널 보간 문제로 재정의함으로써 통합적이고 일반화된 접근을 제공하기 위해.
• 크론백 및 토플리츠 방법의 격자 제약을 극복하여, 임의로 위치한 입력에서도 이를 활용할 수 있도록 하기 위해.
• 많은 수의 유도점들을 효율적으로 지원함으로써 표현력 있는 커널 학습과 고정밀도 예측을 가능하게 하기 위해.
• 맞춤형 보간 전략을 통해 새로운 확장 가능한 GP 방법을 설계할 수 있는 융통성 있는 프레임워크(SKI)를 개발하기 위해.

제안 방법

• SKI 프레임워크는 유도점 방법을 전역 GP 커널 보간으로 간주하여 확장 가능한 추론을 위한 근사 커널을 생성한다.
• 학습 데이터와 유도점 간의 교차공분산 행렬을 근사하기 위해 국소적 3차 보간 및 역거리 가중치 보간 전략을 도입한다.
• KISS-GP는 크론백 및 토플리츠 대수를 활용하여, P차원 입력에 대해 각각 O(n + m log m) 및 O(n + Pm^{1+1/P})의 계산 복잡도를 달성한다.
• 입력이 규칙적인 격자가 아니어도, 구조적 행렬 대수를 활용하여 m ≫ n개의 유도점을 효율적으로 처리함으로써 효율적인 추론을 가능하게 한다.
• 커널 근사 과정을 구조적 구성요소로 분해함으로써 빠른 행렬 연산과 저장 공간 절감을 가능하게 한다.
• GPML 툴박스의 확장으로 구현되어 대규모 데이터셋에 대한 종단간 훈련 및 예측을 지원한다.

실험 결과

연구 질문

• RQ1 유도점 방법들이 커널 보간 기반의 공통 프레임워크를 통해 어떻게 통합되고 일반화될 수 있는가?
• RQ2 임의로 위치한 입력이 있는 상황에서도 크론백 및 토플리츠 구조를 활용할 수 있도록 커널 보간 전략을 설계할 수 있는가?
• RQ3 유도점의 수를 늘일수록 확장 가능한 GP 방법에서 예측 정확도와 커널 학습의 표현력이 어느 정도 향상되는가?
• RQ4 보간 전략의 선택(예: 국소적 3차 보간 대비 전역 보간)이 정확도와 계산 효율성 사이의 트레이드오프에 어떻게 영향을 미치는가?
• RQ5 SKI 프레임워크를 활용하여 기존 최첨단 방법을 능가하는 새로운 고성능 GP 모델을 설계할 수 있는가?

주요 결과

• KISS-GP는 GP 추론에 대해 O(n)의 시간 및 저장 복잡도를 달성하여 대규모 데이터셋에서도 확장 가능한 추론을 가능하게 한다.
• 59,306개의 학습 포인트를 가진 자연 음성 모델링에서, KISS-GP는 FITC의 표준화된 평균 절대 오차(SMAE)의 50퍼센트 미만을 기록했으며, 런타임은 1퍼센트 미만이었다.
• m ∈ [2500, 5000] 범위의 유도점 수에서 KISS-GP의 런타임은 거의 일정했지만, FITC의 런타임은 m이 증가함에 따라 크게 증가했다.
• m ∈ [250, 1250] 범위에서 KISS-GP는 정확도(SMAE ∈ [1.00, 1.05] 대비 [1.12, 1.23])와 속도(100초 미만 대비 최대 8400초) 모두에서 SSGPR를 능가했다.
• KISS-GP에서 사용된 국소적 3차 보간은 FITC가 유도점 수를 제한함으로써 과도하게 매끄럽게 만든 것보다 더 나은 함수 곡률 복원을 가능하게 했다.
• SKI 프레임워크는 m ≫ n개의 유도점을 효율적으로 활용할 수 있도록 하여 표현력 있는 커널 학습과 향상된 예측 성능을 해방시켰다.