[논문 리뷰] Parallel Gaussian Process Regression with Low-Rank Covariance Matrix Approximations

Jie Chen, N. Cao외 4명|arXiv (Cornell University)|2013. 05. 24.

Gaussian Processes and Bayesian Inference참고 문헌 21인용 수 33

한 줄 요약

이 논문은 클러스터 간 계산을 분산시키기 위해 저랭크 공분산 행렬 근사법을 사용하는 두 가지 병렬 가우시안 프로세스 회귀 방법, pPIC 및 pICF를 제안한다. 이는 중심화된 방법과 전체 GP 방법에 비해 상당한 속도 향상을 이끌어내며, 정확도는 정확한 GP와 유사하게 유지한다. 이 방법들은 데이터 크기와 머신 수에 따라 효율적으로 확장되어 대규모 응용 분야에서 실시간 예측을 가능하게 한다.

ABSTRACT

Gaussian processes (GP) are Bayesian non-parametric models that are widely used for probabilistic regression. Unfortunately, it cannot scale well with large data nor perform real-time predictions due to its cubic time cost in the data size. This paper presents two parallel GP regression methods that exploit low-rank covariance matrix approximations for distributing the computational load among parallel machines to achieve time efficiency and scalability. We theoretically guarantee the predictive performances of our proposed parallel GPs to be equivalent to that of some centralized approximate GP regression methods: The computation of their centralized counterparts can be distributed among parallel machines, hence achieving greater time efficiency and scalability. We analytically compare the properties of our parallel GPs such as time, space, and communication complexity. Empirical evaluation on two real-world datasets in a cluster of 20 computing nodes shows that our parallel GPs are significantly more time-efficient and scalable than their centralized counterparts and exact/full GP while achieving predictive performances comparable to full GP.

연구 동기 및 목표

• 대규모 응용 분야에서 확장성과 실시간 사용을 제한하는 전체 가우시안 프로세스 회귀의 입체 시간 복잡도 문제를 해결하기 위해.
• 클러스터의 여러 머신에 걸쳐 계산을 분산시켜 효율적이고 확장 가능하며 실시간 GP 회귀를 가능하게 하기 위해.
• 저랭크 공분산 근사를 통해 계산 비용을 줄이며 정확도를 정확한 GP와 유사하게 유지하기 위해.
• 지역 GP 접근 방식에서 흔히 발생하는 경계 불연속성을 피하고 다차원 입력을 지원하는 병렬 방법을 설계하기 위해.
• 병렬 방법의 예측 성능이 중심화된 대응 방법과 동일한 것을 이론적으로 보장하기 위해.

제안 방법

• 중앙집중식 저랭크 GP 근사의 분산 버전으로서 pPIC(병렬 부분적 독립 조건부) 및 pICF 기반 GP(병렬 불완전 코レス키 분해)를 제안한다.
• 전체 GP의 계산 부담을 줄이기 위해 저랭크 공분산 행렬 근사를 사용하여 다수의 머신에 걸쳐 분산 처리할 수 있도록 한다.
• 메시지 전달 인터페이스(MPI)를 사용하여 클러스터 내에서 공분산 행렬 근사 및 추론 작업의 계산을 분산한다.
• pPIC에서는 서포트 세트를, pICF에서는 저랭크 분해를 사용하여 전체 공분산 행렬을 효율적으로 근사한다.
• 이론적 분석을 통해 병렬 방법의 예측 성능이 중심화된 저랭크 GP 방법과 동일함을 보장한다.
• MPI를 사용해 구현하고 20노드 클러스터에서 실제 데이터셋을 대상으로 성능을 평가한다.

실험 결과

연구 질문

• RQ1 저랭크 공분산 근사가 대규모 데이터셋의 GP 회귀를 위해 효과적으로 병렬화될 수 있는가?
• RQ2 제안된 병렬 GP 방법의 시간, 공간, 통신 복잡도가 중심화된 방법과 전체 GP 방법에 비해 어떻게 비교되는가?
• RQ3 병렬 방법의 예측 성능이 전체 GP 및 중심화된 근사 방법과 얼마나 유사한가?
• RQ4 데이터 크기와 머신 수 증가에 따라 방법의 확장성은 어떻게 되는가?
• RQ5 병렬 방법이 시간이 중요한 응용 분야에서 실시간 예측 성능을 달성할 수 있는가?

주요 결과

• pPIC 및 pICF 기반 GP는 32,000개 샘플을 가진 데이터셋에서 전체 GP 대비 100~10,000배의 속도 향상을 달성했으며, pPIC와 pPITC는 pICF 기반 GP보다 훨씬 빠르게 작동한다.
• pPIC와 pPITC는 작은 서포트 세트 크기에서도 안정적인 예측 성능을 유지하지만, pICF 기반 GP는 낮은 차수에서 예측 성능이 급격히 떨어진다.
• pICF 기반 GP는 작은 랭크(예: R ≤ 1024)일 경우 음수의 MNLP를 유발하여 예측 분산의 양성 문제를 야기하지만, 더 높은 랭크(R = 2048–4096)에서 안정화된다.
• pPIC 및 pPITC는 중심화된 대응 방법 대비 속도 향상이 데이터 크기 증가에 따라 향상되며, pICF 기반 GP보다 머신 수 증가에 따라 더 잘 확장된다.
• pPIC 및 pPITC는 전체 GP와 유사한 예측 성능을 유지하면서도 2~4계단 빠른 속도를 기록하여 실시간 응용에 적합하다.
• 실제로는 히우리스틱 R = √|D|가 실패하며, pICF 기반 GP는 수용 가능한 성능을 달성하기 위해 R > √|D|가 필요하다(예: |D| = 32,000일 경우 R = 2048).