[논문 리뷰] Generalized Robust Bayesian Committee Machine for Large-scale Gaussian Process Regression

Haitao Liu, Jianfei Cai외 2명|arXiv (Cornell University)|2018. 06. 02.

Gaussian Processes and Bayesian Inference인용 수 42

한 줄 요약

GRBCM은 글로벌 커뮤니케이션 전문가를 도입하고 보강된 예측을 통해 대규모 GP 회귀에 대한 일관되고 효율적인 집계 방법을 제공하여 기존 PoE/BCM 방법에 비해 일관성과 확장성을 향상시킨다.

ABSTRACT

In order to scale standard Gaussian process (GP) regression to large-scale datasets, aggregation models employ factorized training process and then combine predictions from distributed experts. The state-of-the-art aggregation models, however, either provide inconsistent predictions or require time-consuming aggregation process. We first prove the inconsistency of typical aggregations using disjoint or random data partition, and then present a consistent yet efficient aggregation model for large-scale GP. The proposed model inherits the advantages of aggregations, e.g., closed-form inference and aggregation, parallelization and distributed computing. Furthermore, theoretical and empirical analyses reveal that the new aggregation model performs better due to the consistent predictions that converge to the true underlying function when the training size approaches infinity.

연구 동기 및 목표

• 대규모 데이터 세트에서의 확장 가능한 GP 회귀의 필요성을 동기 부여한다.
• 분리되거나 무작위 파티션에서 기존 집계 방법의 불일치를 보여준다.
• 글로벌 커뮤니케이션 전문가를 가진 Generalized Robust Bayesian Committee Machine (GRBCM)을 제안한다.
• 자료 크기가 증가함에 따라 GRBCM의 일관성을 입증하고 복잡도를 분석한다.
• 토이 및 실제 데이터 세트에서의 경험적 성능 우위를 보여준다.

제안 방법

• 기존의 집계 모델(PoE, GPoE, BCM, RBCM, NPAE)을 검토하고 그 불일치를 비판한다.
• 전문가를 글로벌 커뮤니케이션 전문가와 향상된 전문가들로 분리하는 GRBCM을 도입한다.
• 조건부 독립성 및 beta-가중치를 이용한 베이지안 규칙으로 GRBCM 예측을 형식화한다.
• 정보 엔트로피 차이를 기반으로 전문가 기여를 가중하는 beta_i를 정의한다.
• n → ∞일 때 GRBCM의 일관성에 대한 이론적 증명을 제공한다.
• 분산 컴퓨팅 환경에서의 구현을 위한 복잡도 분석 및 논의를 제공한다.

실험 결과

연구 질문

• RQ1 다양한 파티션 하에서 학습 크기가 무한대로 커질 때 일반적인 집계 모델이 일관된 예측을 산출하는가?
• RQ2 대규모 GP 회귀를 위해 일관성과 효율성을 모두 만족하는 새로운 집계 모델을 설계할 수 있는가?
• RQ3 GRBCM이 기존의 집계에 비해 예측 정확도 및 보정된 불확실성을 개선하는가?
• RQ4 GRBCM의 예측에서의 계산적 트레이드오프는 무엇이며 데이터 크기와 전문가 수가 커질수록 어떻게 확장되는가?
• RQ5 토이 및 실제 데이터 세트에 대한 경험적 결과가 이론적 일관성 및 성능 주장들을 뒷받침하는가?

주요 결과

• GRBCM은 데이터가 증가함에 따라 일관된 예측을 산출하며 실제 기본 함수와 잡음 분산으로 수렴한다.
• GRBCM은 토이 및 실제 데이터 세트에서 정확도(SMSE) 및 불확실성 품질(MSLL)에서 기존 집계보다 우수하다.
• GRBCM의 예측 불확실성은 무작위 파티션 하에서 일반적으로 GPoE보다 제어되고 낮은 편이다.
• GRBCM은 병렬화 가능한 분산 계산을 유지하면서 예측 정확도가 비슷하거나 약간 증가된 예측 시간에서 더 우수하다.
• NPAE는 여전히 효과적이지만 시간이 많이 소요되어 GRBCM이 확장 가능한 대안으로 선호된다.
• 이 방법은 토이, kin40k, sarcos 데이터 세트에서 성능 향상을 보여준다.