[논문 리뷰] Product Kernel Interpolation for Scalable Gaussian Processes

Jacob R. Gardner, Geoff Pleiss외 3명|arXiv (Cornell University)|2018. 02. 24.

Gaussian Processes and Bayesian Inference참고 문헌 30인용 수 21

한 줄 요약

이 논문은 스케일러블 가우시안 프로세스를 위한 효율적인 행렬-벡터 곱셈(MVM)을 가능하게 하는 SKIP(Product Kernel Interpolation for Scalable Gaussian Processes)을 소개한다. 이 방법은 개별 커널 성분의 랑츠 분해를 활용하여 곱셈 커널과의 MVM을 효율적으로 계산한다. 이로 인해 차원 수에 대해 복잡도가 지수적에서 선형으로 감소하여 고차원 및 다중 작업 학습에 대해 상태 최신의 渐近적 복잡도를 갖는 확장 가능한 GP 추론을 가능하게 한다.

ABSTRACT

Recent work shows that inference for Gaussian processes can be performed efficiently using iterative methods that rely only on matrix-vector multiplications (MVMs). Structured Kernel Interpolation (SKI) exploits these techniques by deriving approximate kernels with very fast MVMs. Unfortunately, such strategies suffer badly from the curse of dimensionality. We develop a new technique for MVM based learning that exploits product kernel structure. We demonstrate that this technique is broadly applicable, resulting in linear rather than exponential runtime with dimension for SKI, as well as state-of-the-art asymptotic complexity for multi-task GPs.

연구 동기 및 목표

• 입력 차원이 증가함에 따라 유도점 요구량이 지수적으로 증가하는 문제로 인해 구조적 커널 보간(SKI)에 나타나는 차원의 극복 문제를 해결하기 위해.
• 각 성분이 다른 격자를 사용할 수 있는 원소별 곱셈 커널과의 MVM을 효율적으로 계산할 수 있도록 MVM 기반 GP 추론의 모ularity를 향상시키기 위해.
• 곱셈 커널 GP 추론에서 차원 수에 대해 선형 런타임 스케일링을 달성하여 기존 SKI의 지수적 복잡도를 초월하기 위해.
• 다중 작업 가우시안 프로세스(MTGP)에 대해 상태 최신의 渐近적 복잡도를 달성하기 위해, 추론을 O(n + m log m + s)로 감소시키기 위해.
• 실세계 GP 응용에 널리 활용 가능한 GPyTorch 기반의 실용적 GPU 가속 구현을 개발하기 위해.

제안 방법

• 이 방법은 곱셈 커널의 각 성분 커널과의 MVM을 근사하기 위해 랑츠 분해를 사용하여 전체 곱셈 커널 MVM의 빠른 계산을 가능하게 한다.
• 개별 커널의 랑츠 근사값을 병합 단계를 통해 통합하여 계산 효율성을 유지하며, 복잡도는 O(drμ(K) + r³n log d)이다.
• Kronecker 인수분해에 의존하지 않고도 곱셈 커널과 함께 구조적 커널 보간(SKI)을 가능하게 하여, 차원 수에 따라 m이 지수적으로 증가하는 문제를 피한다.
• 고차원 회귀 문제에서는 d차원 커널을 d개의 일차원 커널으로 분해하여, 기존의 O(n + dm^d log m)에서 O(dn + dm log m)로 복잡도를 감소시킨다.
• 다중 작업 GP에서는 커널의 곱셈 구조를 활용하고 전체 커널 행렬과의 빠른 MVM을 가능하게 하여 추론 복잡도를 O(n + m log m + s)로 감소시킨다.
• 이 방법은 곱셈 커널과의 MVM을 효율적으로 계산함으로써 작업 클러스터링을 위한 지브스 샘플링을 지원하여, 작업 그룹의 스케일러블한 발견을 가능하게 한다.

실험 결과

연구 질문

• RQ1 Kronecker 인수분해에 의존하지 않고도 곱셈 커널과의 MVM을 효율적으로 계산할 수 있는가? 특히 차원 수에 따라 지수적 스케일링을 겪는 문제를 해결할 수 있는가?
• RQ2 각 성분이 다른 격자를 사용할 수 있는 원소별 곱셈 커널 조합에서도 MVM 기반 GP 추론의 모ularity를 유지할 수 있는가?
• RQ3 곱셈 커널의 구조를 활용함으로써 GP 추론에서 차원 수에 대해 선형 스케일링을 달성할 수 있는가? 이는 SKI에서 발생하는 차원의 극복 문제를 극복할 수 있는가?
• RQ4 SKIP이 실용적 효율성도 유지하면서 다중 작업 가우시안 프로세스에 대해 상태 최신의 渐近적 복잡도를 달성할 수 있는가?
• RQ5 GPU에서 효율적으로 구현되어 실세계 응용에서 확장 가능한 추론을 가능하게 할 수 있는가?

주요 결과

• SKIP는 r이 작은 상수일 때 O(drμ(K) + r³n log d) 시간 내에 곱셈 커널과의 MVM을 수행할 수 있으며, 이는 고차원 문제에 대해 실현 가능하다.
• d차원 회귀 문제에서는 기존 SKI의 O(n + dm^d log m)에서 SKIP은 O(dn + dm log m)로 복잡도를 감소시켜 차원 수에 대해 선형 스케일링을 달성한다.
• 다중 작업 GP 환경에서는 추론 복잡도를 O(n + m log m + s)로 감소시켜, 이는 이전 방법들보다 渐近적 복잡도에서 뛰어난 성능을 발휘한다.
• 이 방법은 곱셈 커널과의 MVM을 효율적으로 계산함으로써 스케일러블한 지브스 샘플링을 가능하게 하여 의미 있는 작업 그룹의 발견을 가능하게 한다.
• 실험 결과, 클러스터 기반 MTGP 모델이 소아 발달 데이터에서 외삽 정확도 측면에서 단일 작업 및 표준 MTGP 기반 모델을 모두 초월하는 것으로 나타났다.
• 저자들은 GPyTorch 기반의 GPU 가속 구현을 공개하여 실세계 응용에서의 실용적 확장성과 사용 가능성을 입증했다.