[논문 리뷰] Distributed Gaussian Processes

Marc Peter Deisenroth, Jun Wei Ng|arXiv (Cornell University)|2015. 02. 10.

Gaussian Processes and Bayesian Inference참고 문헌 29인용 수 139

한 줄 요약

이 논문은 데이터를 독립적인 계산 단위에 분할하여 각 단위에서 국소 GP 전문가를 학습하고, 닫힌형 전 product-of-experts (PoE) 추론을 통해 예측을 재귀적으로 통합함으로써 임의의 크기의 데이터셋에 스케일링 가능한 분산형 가우시안 프로세스 모델인 강건한 베이지안 위원회 기계(rBCM)를 제안한다. 이 방법은 대규모 회귀 작업에서 최신 기술 수준의 성능을 달성하며, 600만 개의 항공기 비행 데이터셋에서도 하드웨어에 관계없이 랩탑에서 30분 이내에 학습이 가능하고, 유도점이나 변분 매개변수 없이 O(10^7) 데이터 스케일링을 가능하게 한다.

ABSTRACT

Copyright © 2015 by the author(s).To scale Gaussian processes (GPs) to large data sets we introduce the robust Bayesian Committee Machine (rBCM), a practical and scalable product-of-experts model for large-scale distributed GP regression. Unlike state-of-the-art sparse GP approximations, the rBCM is conceptually simple and does not rely on inducing or variational parameters. The key idea is to recursively distribute computations to independent computational units and, subsequently, re-combine them to form an overall result. Efficient closed-form inference allows for straightforward parallelisation and distributed computations with a small memory footprint. The rBCM is independent of the computational graph and can be used on heterogeneous computing infrastructures, ranging from laptops to clusters. With sufficient computing resources our distributed GP model can handle arbitrarily large data sets.

연구 동기 및 목표

• 대규모 데이터셋에서 표준 가우시안 프로세스의 O(N³) 계산 및 O(N²) 메모리 병목 현상을 해결하기 위해.
• 유도점이나 변분 매개변수에 의존하는 희소 근사 기반의 모델을 피하는 확장 가능한 분산 GP 프레임워크를 개발하기 위해.
• 예측 정확도를 희생시키지 않고도 이질적인 하드웨어(랩탑에서 클러스터에 이르기까지)에서 효율적이고 병렬화된 GP 추론을 가능하게 하기 위해.
• 혼합 전문가 및 PoE-GP 모델의 과신 또는 과도한 경계성 문제를 피하는 일관되고 해석 가능한 대안을 제공하기 위해.

제안 방법

• rBCM은 전체 학습 데이터셋을 상호 배타적인 부분집합으로 나누고, 공유된 초모수를 사용하여 각 부분집합에서 독립적인 GP 전문가를 학습한다.
• 지역 전문가의 예측을 재귀적으로 트리 구조로 통합하여 전역 사후분포를 형성하며, 이를 위해 전 product-of-experts (PoE) 공식을 사용한다.
• 모든 추론은 평균과 분산에 대한 해석적 해를 사용하여 닫힌 형식으로 수행되며, MCMC나 샘플 기반 근사법을 피한다.
• 모델은 하드웨어 아키텍처의 구조와 무관한 계층적 분산 계산 그래프를 사용하여 다양한 인프라에서의 배포를 가능하게 한다.
• 전체 예측 분포는 개별 전문가의 예측 밀도를 그들의 신뢰성에 따라 자연스럽게 가중하여 곱한 것으로 유도된다.
• 초모수는 로그-우도에 대한 기울기 상승을 통해 최적화되며, 전체 기울기는 전문가 기울기의 평균으로 계산되어 정규화를 촉진한다.

실험 결과

연구 질문

• RQ1 유도점이나 변분 매개변수에 의존하지 않고도 O(10^7) 데이터 포인트에 스케일링 가능한 분산 GP 모델은 가능한가?
• RQ2 비정상성(Non-stationary)이 강한 대규모 데이터셋에서, 전 product-of-experts GP 모델은 희소 GP 방법에 비해 예측 정확도와 계산 효율성 측면에서 어떻게 비교되는가?
• RQ3 이질적 시스템에서 병렬화를 가능하게 하면서도, 분산 PoE 프레임워크 내에서 재귀적 닫힌 형식 추론이 불확실성 캘리브레이션을 유지할 수 있는가?
• RQ4 rBCM은 실제 회귀 작업에서 표준 PoE-GP의 과신 문제와 일반화된 PoE-GP의 과도한 경계성 문제를 피할 수 있는가?
• RQ5 상용 하드웨어에서 최소한의 메모리 사용과 빠른 수렴을 달성하면서도 고성능을 낼 수 있는가?

주요 결과

• 70만 개의 항공기 비행 데이터 하위집합에서 rBCM은 RMSE 27.1과 NLPD 9.1을 기록하여, SVIGP와 Dist-VGP보다 두 지표에서 모두 뛰어난 성능을 보였다.
• 500만 개의 항공기 비행 데이터셋에서 rBCM은 RMSE 35.5와 NLPD 8.8를 기록하여, 대규모 비정상성 데이터에 대한 강건성과 확장성을 입증했다.
• 랩탑에서 백만 개의 데이터 포인트를 가진 GP 모델을 학습하는 데 30분 이내에 완료되어 낮은 메모리 및 계산 오버헤드를 입증했다.
• 모든 데이터 크기(70만, 200만, 500만)에서 rBCM은 표준편차가 0.3 이하로 안정적인 최적화를 보였으며, 일관된 성능을 보였다.
• 표준 BCM과 PoE 모델이 과신(PoE) 및 약한 전문가 문제(BCM)로 약화되는 것과는 달리, rBCM은 뚜렷한 성능 우위를 보였다.
• 증가하는 데이터 크기 동안 rBCM의 NLPD 값은 안정적으로 유지되어 데이터 복잡도 증가 시에도 신뢰할 수 있는 불확실성 추정이 가능함을 시사했다.