[논문 리뷰] Scaling Gaussian Process Regression with Derivatives

David Eriksson, Kun Dong외 3명|arXiv (Cornell University)|2018. 01. 01.

Gaussian Processes and Bayesian Inference인용 수 29

한 줄 요약

이 논문은 반복적 해법과 편집된 코レス키 조건화를 사용하여 파생항을 포함한 확장 가능한 가우시안 프로세스 회귀를 제안한다. 이로 인해 계산 복잡도가 𝒪(n³d³)에서 근사 선형 스케일링으로 감소된다. 본 방법은 빠른 행렬-벡터 곱셈과 효과적인 조건화를 통해 행렬 연산을 가속화함으로써 고차원에서의 효율적인 베이지안 최적화 및 대규모 문제 해결을 가능하게 한다.

ABSTRACT

Gaussian processes (GPs) with derivatives are useful in many applications, including Bayesian optimization, implicit surface reconstruction, and terrain reconstruction. Fitting a GP to function values and derivatives at $n$ points in $d$ dimensions requires linear solves and log determinants with an ${n(d+1) imes n(d+1)}$ positive definite matrix-- leading to prohibitive $\mathcal{O}(n^3d^3)$ computations for standard direct methods. We propose iterative solvers using fast $\mathcal{O}(nd)$ matrix-vector multiplications (MVMs), together with pivoted Cholesky preconditioning that cuts the iterations to convergence by several orders of magnitude, allowing for fast kernel learning and prediction. Our approaches, together with dimensionality reduction, allows us to scale Bayesian optimization with derivatives to high-dimensional problems and large evaluation budgets.

연구 동기 및 목표

• 고차원 환경에서 함수 값과 도함수에 대한 가우시안 프로세스 피팅에 따른 금지적인 계산 비용을 해결하기 위해.
• 파생항을 포함한 GP 회귀를 위한 표준 직접 해법의 O(n³d³) 복잡도를 감소시키기 위해.
• 파생정보를 활용한 확장 가능한 베이지안 최적화 및 대규모 평가 예산을 가능하게 하기 위해.
• 대규모 커널 학습을 위한 빠른 행렬-벡터 곱셈과 효과적인 조건화를 갖춘 효율적인 반복적 해법을 개발하기 위해.

제안 방법

• 파생항을 포함한 GP 회귀에서 발생하는 선형 시스템을 해결하기 위해 반복적 쿠릴로프 부분공간 해법(예: 공액 경사법)을 사용한다.
• 커널 평가와 선형 해법을 가속화하기 위해 빠른 O(nd) 행렬-벡터 곱셈을 적용한다.
• n(d+1) × n(d+1) 공분산 행렬에 대해 편집된 코レス키 조건화를 적용하여 수렴까지의 반복 횟수를 극적으로 감소시킨다.
• 반복적 해법과 편집된 코レス키 조건화를 결합하여 대규모 GP 추론에서 근사 최적 수렴 속도를 달성한다.
• 추가로 고차원 입력 공간으로의 확장 가능성을 높이기 위해 차원 축소 기법을 통합한다.

실험 결과

연구 질문

• RQ1 빠른 행렬-벡터 곱셈을 갖춘 반복적 해법이 파생항을 포함한 GP 회귀의 계산 부담을 상당히 줄일 수 있는가?
• RQ2 편집된 코レス키 조건화가 파생정보 기반 GP 회귀에서 수렴 속도를 얼마나 가속화하는가?
• RQ3 제안된 방법이 고차원 문제와 대규모 평가 예산에서 파생항을 활용한 베이지안 최적화를 확장 가능한 방식으로 구현할 수 있는가?
• RQ4 반복적 해법과 조건화의 조합이 표준 직접 해법에 비해 확장성과 정확성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 파생항을 포함한 GP 회귀의 계산 복잡도를 O(n³d³)에서 n과 d에 대해 근사 선형 스케일링으로 감소시킨다.
• 편집된 코レス키 조건화로 인해 공액 경사법의 반복 횟수가 수개의 주자리 수준으로 감소하여 빠른 수렴이 가능해진다.
• 본 방법은 고차원 문제와 대규모 평가 예산에서 파생항을 활용한 확장 가능한 베이지안 최적화를 지원한다.
• 빠른 행렬-벡터 곱셈을 통해 효율적인 커널 학습과 예측이 가능해져 대규모 파생정보 기반 GP 회귀가 실현 가능해진다.