[논문 리뷰] Embarrassingly Parallel Inference for Gaussian Processes

Michael Minyi Zhang, Sinead A. Williamson|arXiv (Cornell University)|2017. 02. 27.

Gaussian Processes and Bayesian Inference참고 문헌 35인용 수 8

한 줄 요약

이 논문은 블록 대각 공분산 행렬에 대한 중요도 표본 추출을 사용하여 확장성 있고 분산된 계산을 가능하게 하는, Gaussian process(GP)에 대한 부끄러운 정도로 병렬화된 추론 알고리즘인 IS-MOE를 제안한다. 여러 개의 분할된 GP를 병렬로 학습하고 중요도 가중치로 조합함으로써, IS-MOE는 전체 GP 회귀와 유사한 성능을 더 작은 계산 비용으로 달성하며, 비정상 함수와 대규모 데이터셋에 특히 효과적이다.

ABSTRACT

Training Gaussian process-based models typically involves an $ O(N^3)$ computational bottleneck due to inverting the covariance matrix. Popular methods for overcoming this matrix inversion problem cannot adequately model all types of latent functions, and are often not parallelizable. However, judicious choice of model structure can ameliorate this problem. A mixture-of-experts model that uses a mixture of $K$ Gaussian processes offers modeling flexibility and opportunities for scalable inference. Our embarrassingly parallel algorithm combines low-dimensional matrix inversions with importance sampling to yield a flexible, scalable mixture-of-experts model that offers comparable performance to Gaussian process regression at a much lower computational cost.

연구 동기 및 목표

• 대규모 데이터셋에 대한 Gaussian process 추론에서 발생하는 O(N³) 계산 병목 현상을 해결하기 위해.
• 비정상 함수에 대한 모델링 유연성을 유지하면서도 확장성 있고 병렬화 가능한 추론 방법을 개발하기 위해.
• 장거리 상관관계나 단거리 변동성을 포착하지 못하는 희소 및 국소 GP 방법의 한계를 극복하기 위해.
• 최소한의 전역 통신으로 분산 계산을 활용해 믹스처 오브 익스퍼트(GP) 모델에서 효율적인 추론을 가능하게 하기 위해.
• 대규모 데이터셋에서 회귀 및 분류 작업에 대해 경쟁적인 성능을 입증하기 위해.

제안 방법

• IS-MOE 알고리즘은 각각 블록 대각 공분산 행렬을 가진 여러 분할된 GP에 대해 중요도 표본 추출을 사용하여 평균을 내는 방식을 사용한다.
• 입력 공간 상의 위치 기반 분포를 통해 분할을 생성하여 비정상적 행동을 모델링한다.
• 각 분할된 GP는 독립적으로 병렬로 훈련되며, 행렬 역행렬 계산 비용을 O(N³)에서 O(K·(N/K)³)로 감소시킨다.
• 미니배치 기반의 스 tochastic 근사 방법을 통해 블록 크기를 추가로 줄였으며, 예측 성능를 유지했다.
• 중요도 가중치는 분산 방식으로 계산되며, 샘플을 조합하기 위한 유일한 전역 집계 단계만 필요하다.
• 최종 후행 예측 분포는 중요도 가중치를 사용해 샘플을 조합함으로써, 어떤 단일한 블록 대각 행렬보다도 더 표현력 있는 공분산 구조를 도출한다.

실험 결과

연구 질문

• RQ1 비정상 함수에 대한 모델링 유연성을 희생시키지 않고도 확장성 있고 병렬화 가능한 Gaussian process 모델 추론을 달성할 수 있는가?
• RQ2 표준 변분 추론과 비교할 때, 분할된 GP에 대한 중요도 표본 추출은 예측 정확도와 계산 효율성 측면에서 어떻게 성능를 보이는가?
• RQ3 블록 대각 근사와 병렬화를 통해 O(N³) 비용을 줄임으로써도 높은 예측 성능를 유지할 수 있는가?
• RQ4 대규모 설정에서 비정상적이거나 복잡한 잠재 함수에 대해 IS-MOE는 희소 변분 추론(SVI)을 능가하는가?
• RQ5 IS-MOE와 표준 GP 추론 방법 간에 벽 시계 시간과 예측 품질 사이의 상충 관계는 어떠한가?

주요 결과

• IS-MOE는 세 개인 UCI 데이터셋에서 전체 GP 회귀와 유사한 예측 성능를 달성했으며, AUC 및 로그우도 점수가 전체 GP에 비해 5% 이내였다.
• 100만 개의 훈련 포인트를 가진 힉스 보손 분류 데이터셋에서, 훈련에 6분이 소요되었음에도 불구하고 IS-MOE는 희소 변분 추론보다 더 높은 예측 로그우도와 AUC를 기록했다.
• J=100개의 샘플과 K=20개의 파artition를 사용함으로써 대규모 데이터셋에 대한 확장성을 입증했다.
• AIRS 데이터셋에서 여러 K 값에 대해 IS-MOE는 SVI를 능가했으며, 이는 파artition 선택에 대한 강건성을 보여주었다.
• 100만 개 포인트 데이터셋에서 6분의 벽 시계 시간을 기록함으로써, IS-MOE가 대규모 데이터 응용 분야에서 실용적으로 가능하다는 것을 입증했다.
• 중요도 표본 추출 방식은 국소 방법에서 흔히 발생하는 가장자리 효과를 피하고 장거리 및 단거리 상관관계를 효과적으로 포착했다.