[논문 리뷰] Exact Gaussian Processes on a Million Data Points

Ke Alexander Wang, Geoff Pleiss외 4명|arXiv (Cornell University)|2019. 03. 19.

Gaussian Processes and Bayesian Inference참고 문헌 48인용 수 31

한 줄 요약

이 논문은 Blackbox Matrix-Matrix(BBMM) 곱셈과 공액 그래디언트를 활용하여 표준 O(n³) 계산 복잡도 장벽을 우회함으로써 최대 100만 개의 데이터 포인트를 가진 데이터셋에서 정확한 가우시안 프로세스(GP) 추론을 위한 확장 가능한 다중 GPU 프레임워크를 제시한다. 이 방법은 8개의 GPU를 사용하여 100만 개의 포인트에서 정확한 GP 학습을 2시간 이내로 수행하며, UCI 데이터셋에서 가용한 근사 방법들보다 우수한 성능을 보이며, RMSE가 최대 2배까지 감소함을 입증한다.

ABSTRACT

Gaussian processes (GPs) are flexible non-parametric models, with a capacity that grows with the available data. However, computational constraints with standard inference procedures have limited exact GPs to problems with fewer than about ten thousand training points, necessitating approximations for larger datasets. In this paper, we develop a scalable approach for exact GPs that leverages multi-GPU parallelization and methods like linear conjugate gradients, accessing the kernel matrix only through matrix multiplication. By partitioning and distributing kernel matrix multiplies, we demonstrate that an exact GP can be trained on over a million points, a task previously thought to be impossible with current computing hardware, in less than 2 hours. Moreover, our approach is generally applicable, without constraints to grid data or specific kernel classes. Enabled by this scalability, we perform the first-ever comparison of exact GPs against scalable GP approximations on datasets with $10^4 \!-\! 10^6$ data points, showing dramatic performance improvements.

연구 동기 및 목표

• 기존의 O(n³) 계산 비용과 O(n²) 메모리 비용으로 인해 이전에는 비현실적이었던 최대 100만 개의 훈련 포인트를 가진 데이터셋에서 정확한 가우시안 프로세스 추론을 가능하게 하기 위해.
• 대규모 데이터에서 정확한 GP와 가용 가능한 근사 방법 간의 성능 격차를 해소하기 위해 실용적이고 고정밀의 기준을 제공하기 위해.
• 격자 구조 데이터나 특정 커널 가족에 의존하지 않는 일반적인 목적의, 커널에 관계없는 방법을 개발하기 위해.
• 비모수적 모델인 GP가 10⁴ 포인트를 초과하는 대규모 데이터에서도 여전히 크게 이점을 얻을 수 있음을 보여주기 위해.
• 10⁴에서 10⁶ 포인트 사이의 데이터 포인트 범위에서 정확한 해를 금 standard로 제공함으로써 GP 근사 방법의 공정한 벤치마킹을 가능하게 하기 위해.

제안 방법

• 직접 Cholesky 분해를 피하기 위해 GP 학습을 반복적 행렬 곱셈으로 재구성하는 Blackbox Matrix-Matrix(BBMM) 추론을 활용한다.
• 효율적이고 정확한 GP 시스템 해를 위해 펄스팅된 Cholesky 조건부 조건화를 사용한 선형 공액 그래디언트(CG)를 적용한다.
• 커널 행렬을 분할하여 다중 GPU에 커널 행렬 곱셈을 분산 처리함으로써 GPU당 메모리 소비를 O(n)으로 줄여 10⁴ 포인트를 초월한 확장성을 달성한다.
• 학습 속도를 향상시키고 단일 GPU에서 예측 시 1초 이내로 추론을 가능하게 하기 위해 하이퍼파ram터 초기화 및 캐싱 전략과 같은 실용적 히우리스틱을 적용한다.
• 대규모 데이터셋에서는 정확도를 유지하면서 학습 시간을 최소화하기 위해 Adam 최적화를 사용하되, 단계 수를 줄여서(예: 100단계) 적용한다.
• 아키텍처 제약 없이 임의의 입력 차원과 커널 유형(예: RBF, Matérn 포함)을 지원한다.

실험 결과

연구 질문

• RQ1 기존 하드웨어와 최적화 기법을 사용하여 100만 개 이상의 데이터 포인트를 가진 데이터셋에서 정확한 가우시안 프로세스를 학습시킬 수 있는가?
• RQ2 10⁴에서 10⁶ 포인트 사이의 데이터셋에서 정확한 GP는 스케일러블 GP 근사 방법(SGPR, SVGP 등)과 비교해 예측 성능에서 어떻게 다른가?
• RQ3 비모수적 모델인 GP의 성능은 10⁴ 포인트를 초과하는 데이터 크기가 증가함에 따라 계속 향상되는가? 만약 그렇다면 얼마나 향상되는가?
• RQ4 대규모에서 정확한 GP 추론의 계산 비용은 얼마이며, 현대의 다중 GPU 시스템을 통해 실용적인 학습 시간으로 줄일 수 있는가?
• RQ5 제안된 BBMM 기반 방법은 특정 가정 없이 다양한 커널 가족과 데이터 구조에 일반적으로 적용 가능한가?

주요 결과

• HouseElectric 데이터셋(1,311,539개 포인트)에서 정확한 GP는 RMSE 0.049를 달성하여 가장 우수한 근사 방법(SVGP)의 0.086 RMSE를 상회하며, 상대적 성능 향상률이 42%에 이르렀다.
• 3DRoad 데이터셋(278,319개 포인트)에서 정확한 GP는 RMSE 0.106을 기록했고, SGPR(0.654)와 SVGP(0.475)는 각각 84%와 78%의 오차 감소를 보였다.
• 100만 개 포인트에서 정확한 GP의 학습 시간은 8개 GPU를 사용해 2시간 이내였으며, 캐싱을 통해 예측 시 1초 이내로 추론이 가능했다.
• CTslice 데이터셋(34,240개 포인트)에서 8개 GPU를 사용한 학습 시간은 41.7초였고, 스케일러블 근사 방법은 77.5~137초가 소요되었다.
• HouseElectric와 같은 대규모 데이터셋에서 정확한 GP는 100개의 Adam 단계로 3.29일이 소요되었고, SVGP는 4.22시간이 걸렸다. 이는 효율적인 해법을 사용할 경우 정확한 GP가 더 적은 최적화 단계로 더 빠르게 학습될 수 있음을 보여준다.
• 이 연구는 비모수적 모델인 GP가 데이터 증가에 따라 여전히 크게 이점을 얻음을 확인하였으며, 대규모 데이터 환경에서도 성능 향상이 뚜렷하게 나타나 정확한 추론의 가치가 높다는 점을 입증한다.