[논문 리뷰] Scalable Gaussian Process Classification via Expectation Propagation

Daniel Hernández-Lobato, José Miguel Hernández-Lobato|arXiv (Cornell University)|2015. 07. 16.

Gaussian Processes and Bayesian Inference참고 문헌 15인용 수 7

한 줄 요약

이 논문은 대규모 가우시안 프로세스 분류를 위한 새로운 방법인 확장 가능한 기대값 전파(Scalable Expectation Propagation, SEP)를 제안한다. SEP는 데이터 요약된 우도 추정을 통해 분산 학습과 확률적 하이퍼파rameter 최적화를 가능하게 하며, 계산이 용이한 방식으로 근사된 우도 추정을 제공한다. SEP는 최신 변분 추론 기법과 경쟁 가능한 성능을 달성하면서도 단변량 적분을 피하고, 더 정확한 사후 분포 근사 덕분에 초기 수렴 속도가 빠르다.

ABSTRACT

Variational methods have been recently considered for scaling the training process of Gaussian process classifiers to large datasets. As an alternative, we describe here how to train these classifiers efficiently using expectation propagation. The proposed method allows for handling datasets with millions of data instances. More precisely, it can be used for (i) training in a distributed fashion where the data instances are sent to different nodes in which the required computations are carried out, and for (ii) maximizing an estimate of the marginal likelihood using a stochastic approximation of the gradient. Several experiments indicate that the method described is competitive with the variational approach.

연구 동기 및 목표

• O(n³) 복잡도로 인해 대규모 데이터셋에서 표준 가우시안 프로세스 분류가 계산적으로 불가능한 문제를 해결하기 위해.
• 분산 컴퓨팅과 확률적 최적화 기법을 활용해 가우시안 프로세스 분류기의 확장 가능한 학습을 가능하게 하기 위해.
• 단변량 적분이 필요 없이 유도점과 하이퍼파rameter를 동시에 최적화할 수 있는 방법을 개발하기 위해.
• 변분 추론의 타당하고 확장 가능한 대안을 제공하며, 초기 단계에서의 수렴 성능를 향상시키기 위해.
• 수백만 개의 인스턴스를 포함한 데이터셋, 예를 들어 MNIST와 미국 항공편 지연 데이터에서 경쟁 가능한 성능을 입증하기 위해.

제안 방법

• 가우시안 프로세스 분류에서 계산이 어려운 사후 분포를 근사하기 위해 기대값 전파(EP)를 사용한다.
• n보다 훨씬 작은 m개의 유도점(inducing points)을 사용한 희소 근사를 통해 계산 비용을 O(nm²)로 감소시킨다.
• 각 데이터 인스턴스에 대한 합으로 표현된 우도 추정을 유도하여 확률적 경량 최적화를 가능하게 한다.
• 각 계산 노드가 인스턴스의 부분집합을 처리하도록 데이터를 분할하여 분산 학습을 가능하게 한다.
• 우도 추정에 기반한 확률적 경량 상승 알고리즘을 사용해 사후 분포 근사와 모델 하이퍼파rameter를 동시에 최적화한다.
• 하이퍼파ram터 업데이트에 Adadelta 최적화기(ρ=0.9, ε=10⁻⁵)를 사용하며, 미니배치 크기는 유도점 수(m=200)와 동일하다.

실험 결과

연구 질문

• RQ1 기대값 전파가 대규모 데이터셋에서 가우시안 프로세스 분류기의 확장 가능한 학습을 가능하게 하도록 적응될 수 있는가?
• RQ2 제안된 방법이 분산 학습과 하이퍼파rameter의 확률적 최적화를 지원하는가?
• RQ3 예측 정확도와 학습 속도 측면에서 제안된 방법이 변분 추론과 일반화된 FITC(GFITC)에 비해 어떻게 성능을 내는가?
• RQ4 EP 기반의 사후 분포 근사가 기울기 기반 변분 추론보다 더 빠른 초반 수렴을 이끌어내는가?
• RQ5 배치 방법이 비현실적인 대규모 데이터셋(수백만 개 인스턴스)을 처리할 수 있는가?

주요 결과

• 제안된 SEP 방법은 MNIST와 미국 항공편 지연 데이터를 포함한 대규모 데이터셋에서 최신 변분 추론(SVI)과 경쟁 가능한 예측 성능을 달성한다.
• GFITC 근사가 계산적으로 불가능해지는 대규모 데이터셋에서 SEP는 GFITC를 능가하는 성능을 보인다.
• SEP와 SVI의 확률적 변형은 빠르게 수렴하며, 배치 방법이 하이퍼파ram터 업데이트를 한 번도 완료하지 못한 시점에도 SEP는 양호한 성능을 내는 경향이 있다.
• SEP는 SVI보다 더 높은 初기 성능을 보이며, 이는 SVI의 기울기 기반 업데이트에 비해 EP 업데이트가 더 정확한 사후 분포 근사를 제공하기 때문일 것이다.
• 210만 개의 인스턴스를 포함하는 항공편 지연 데이터셋에서 SEP와 SVI는 선형 로지스틱 회귀를 모두 능가하며, 문제의 비선형성을 확인한다.
• 작은 미니배치를 사용할 경우 SEP의 계산 비용은 O(m³)이며, 메모리 요구량은 O(nm)으로, 대규모 응용에 적합하다.