[논문 리뷰] Distributed Variational Inference in Sparse Gaussian Process Regression and Latent Variable Models

Yarin Gal, Mark van der Wilk외 1명|arXiv (Cornell University)|2014. 02. 06.

Gaussian Processes and Bayesian Inference참고 문헌 16인용 수 84

한 줄 요약

이 논문은 희소 가우시안 프로세스 회귀 및 잠재변수 모델을 위한 분산 변분 추론 알고리즘을 제안하며, 유도 점을 기준으로 데이터를 분리하는 재매개변수화를 활용하여 효율적인 Map-Reduce 병렬 처리를 가능하게 한다. 이 방법은 200만 개의 데이터 포인트까지 스케일링되며, 항공편 및 MNIST 데이터에서 기준 모델 대비 GP 성능을 향상시키고, 최소한의 통신 오버헤드로 노드 간 부하 균형을 유지한다.

ABSTRACT

Gaussian processes (GPs) are a powerful tool for probabilistic inference over functions. They have been applied to both regression and non-linear dimensionality reduction, and offer desirable properties such as uncertainty estimates, robustness to over-fitting, and principled ways for tuning hyper-parameters. However the scalability of these models to big datasets remains an active topic of research. We introduce a novel re-parametrisation of variational inference for sparse GP regression and latent variable models that allows for an efficient distributed algorithm. This is done by exploiting the decoupling of the data given the inducing points to re-formulate the evidence lower bound in a Map-Reduce setting. We show that the inference scales well with data and computational resources, while preserving a balanced distribution of the load among the nodes. We further demonstrate the utility in scaling Gaussian processes to big data. We show that GP performance improves with increasing amounts of data in regression (on flight data with 2 million records) and latent variable modelling (on MNIST). The results show that GPs perform better than many common models often used for big data.

연구 동기 및 목표

• 빅 데이터 환경에서 희소 가우시안 프로세스 모델의 확장성 한계를 해결하기 위해.
• GP 회귀 및 잠재변수 모델을 위한 효율적이고 부하 균형 잡힌 분산 추론을 가능하게 하기 위해.
• 확장 가능한 추론을 통해 데이터 양이 증가할수록 GP 성능이 향상됨을 보여주기 위해.
• Titsias(2009)의 엄밀한 변분 하한을 유지하면서도 병렬 처리를 가능하게 하는 분산 알고리즘을 개발하기 위해.
• 실제 데이터셋인 항공편 데이터 및 MNIST에서 대규모 GP의 실용적 유용성을 보여주기 위해.

제안 방법

• 유도 점을 기준으로 데이터를 분리하는 재매개변수화를 사용하여 기초 하한 확률(ELBO)을 재구성함으로써 노드 간 독립적인 업데이트를 가능하게 한다.
• 노드 간 상수 시간 통신만으로도 계산을 분산 처리할 수 있도록 Map-Reduce 패러다임을 적용한다.
• 유도 타겟에 대한 변분 분포의 해석적 최적 형태를 사용하여, Titsias(2009)의 엄밀한 ELBO를 유지한다.
• 데이터 의존성을 분리함으로써 GPLVM 내 잠재변수 임bedding의 병렬 최적화를 가능하게 한다.
• Map-Reduce 프레임워크를 사용하여 Python으로 알고리즘을 구현하였으며, 오픈소스로 제공된다.
• 하이퍼파라미터 및 유도 점 최적화를 위해 LBFGS와 SCG 최적화기를 사용하였으며, 철저한 초기화 전략을 적용하였다.

실험 결과

연구 질문

• RQ1 희소 GP 회귀 및 GPLVM에서 변분 추론이 ELBO의 엄밀함을 유지하면서도 효율적으로 분산 처리될 수 있는가?
• RQ2 제안된 분산 알고리즘이 데이터 크기 및 계산 자원 증가에 따라 어떻게 스케일링되는가?
• RQ3 200만 포인트와 같은 더 큰 데이터셋에서 훈련한 가우시안 프로세스가 표준 모델 대비 예측 성능이 향상되는가?
• RQ4 분산 환경에서 알고리즘이 균형 잡힌 부하 분포와 낮은 통신 오버헤드를 유지할 수 있는가?
• RQ5 대규모 데이터셋에서 훈련된 GP의 성능이 랜덤 포레스트 및 선형 모델과 같은 일반적인 빅데이터 모델과 비교해 어떻게 되는가?

주요 결과

• 제안된 분산 추론은 200만 개의 항공편 기록에 대해 스케일링되었으며, RMSE 35.31을 기록하여 선형 회귀(37.65), 리지 회귀(37.65), 랜덤 포레스트(37.33), 200개의 유도 점을 사용한 SVI보다 우수한 성능을 보였다.
• 전체 MNIST 데이터셋(6만 포인트)에서 훈련을 전부 수행할 경우 분류 오차는 8.98%에서 5.95%로 감소하여, 더 많은 데이터에서 성능 향상이 이루어짐을 보여주었다.
• 64개의 코어를 사용해 200만 포인트에서 훈련할 경우 반복당 약 13.8분이 소요되어 계산 자원 증가에 따라 유리한 스케일링을 보였다.
• LBFGS 최적화기가 특히 큰 데이터셋에서 수렴 안정성 측면에서 SCG를 능가하였으며, SCG는 가능성의 모드가 날카워지면서 열악한 최적화점으로 수렴하는 경향이 있었다.
• 알고리즘은 노드 간 균형 잡힌 부하 분포를 달성하였고, 노드 간 상수 시간 통신만으로도 효율적인 병렬 처리가 가능하였다.
• 보조 자료에서 무작위 드롭아웃 실험을 통해 오픈소스 구현이 노드 장애에 대해 뛰어난 내구성을 보였다.