[논문 리뷰] When Gaussian Process Meets Big Data: A Review of Scalable GPs

Haitao Liu, Yew-Soon Ong외 2명|arXiv (Cornell University)|2018. 07. 03.

Gaussian Processes and Bayesian Inference참고 문헌 248인용 수 98

한 줄 요약

한 문장: 대규모 회귀를 위한 확장 가능한 가우시안 프로세스(GP) 방법의 포괄적 고찰로, 글로벌 및 로컬 근사와 정확도 및 효율성의 트레이드오프를 분류합니다.

ABSTRACT

The vast quantity of information brought by big data as well as the evolving computer hardware encourages success stories in the machine learning community. In the meanwhile, it poses challenges for the Gaussian process (GP) regression, a well-known non-parametric and interpretable Bayesian model, which suffers from cubic complexity to data size. To improve the scalability while retaining desirable prediction quality, a variety of scalable GPs have been presented. But they have not yet been comprehensively reviewed and analyzed in order to be well understood by both academia and industry. The review of scalable GPs in the GP community is timely and important due to the explosion of data size. To this end, this paper is devoted to the review on state-of-the-art scalable GPs involving two main categories: global approximations which distillate the entire data and local approximations which divide the data for subspace learning. Particularly, for global approximations, we mainly focus on sparse approximations comprising prior approximations which modify the prior but perform exact inference, posterior approximations which retain exact prior but perform approximate inference, and structured sparse approximations which exploit specific structures in kernel matrix; for local approximations, we highlight the mixture/product of experts that conducts model averaging from multiple local experts to boost predictions. To present a complete review, recent advances for improving the scalability and capability of scalable GPs are reviewed. Finally, the extensions and open issues regarding the implementation of scalable GPs in various scenarios are reviewed and discussed to inspire novel ideas for future research avenues.

연구 동기 및 목표

• 입력: GP 회귀를 빅데이터에 적용할 때의 3차 복잡도로 인한 도전을 평가한다.
• 확장 가능한 GP를 글로벌 및 로컬 근사로 분류하고 정확도와 확장성의 트레이드오프를 분석한다.
• 주요 글로벌 접근법(데이터 부분집합, 희소 커널, 희소 근사)과 로컬 접근법(전문가들의 혼합 및 곱)을 검토한다.
• 확장성과 모델 능력 향상의 진전을 요약하고 확장 및 남은 이슈를 논의한다.

제안 방법

• 확장 가능한 GP를 글로벌 근사와 로컬 근사로 분류한다.
• 글로벌 접근법의 상세 설명: 데이터 부분집합, 희소 커널, 유도점 및 Nyström 방법이 포함된 희소 근사.
• 확장 가능한 추론을 위한 변분 자유 에너지(VFE) 및 확률적 변분 GP(SVGP)와 같은 후방 근사의 설명.
• 능력 향상을 위한 인터도메인, 계층적 및 하이브리드 글로벌-로컬 전략 설명.
• 백만에서 십억 규모의 데이터로 확장하기 위한 확률적 최적화와 유도점 최적화에 대해 논의한다.

실험 결과

연구 질문

• RQ1 대규모 회귀를 위한 주요 확장 가능한 GP 패러다임은 무엇인가?
• RQ2 글로벌 및 로컬 근사는 확장성 및 예측 능력 면에서 어떻게 비교되는가?
• RQ3 어떤 진전(예: 변분 방법, 유도점, 확률적 최적화)이 GP로 매우 큰 데이터 세트를 다루는 데 도움이 되는가?
• RQ4 실무에서의 확장 가능한 GP의 미해결 이슈 및 향후 방향은 무엇인가?

주요 결과

• 글로벌 근사는 커널 행렬의 크기나 구조를 줄이면서도 글로벌 패턴을 보존하려고 하여 상당한 확장성을 가능하게 한다.
• 로컬 근사는 국소 패턴과 비정상성을 포착하지만 글로벌 구조를 놓칠 수 있어 하이브리드를 촉진한다.
• 변분 방법(VFE, SVGP)은 원칙에 기반한 확장 가능한 추론을 제공하고 충분한 유도점을 사용하면 전체 GP를 회복할 수 있다.
• 확률적 최적화와 유도점 방법은 수백만에서 수십억 규모의 데이터 학습을 가능하게 한다.
• 구조화된 유도 세트와 인터도메인 전략이 확장성과 모델 능력을 향상시키지만 불확실성 추정에서 지속적인 트레이드오프가 있다.