[논문 리뷰] Scalable Variational Gaussian Process Classification

James Hensman, Alexander Matthews외 1명|arXiv (Cornell University)|2014. 11. 07.

Gaussian Processes and Bayesian Inference참고 문헌 26인용 수 346

한 줄 요약

이 논문은 완전한 공분산 행렬을 사전에 근사하지 않고 직접 우도 가능성을 근사하는 새로운 변분 경계를 사용하여 가우시안 프로세스 분류를 위한 확장 가능한 변분 추론 방법을 제안한다. 희소 유도 점과 확률적 최적화를 결합함으로써, 기준 데이터셋에서 최신 기술 수준의 성능을 달성하고 수백만 개의 데이터 포인트까지 스케일링할 수 있으며, 항공기 지연 예측과 같은 대규모 문제에서 정확한 분류를 가능하게 한다.

ABSTRACT

Gaussian process classification is a popular method with a number of appealing properties. We show how to scale the model within a variational inducing point framework, outperforming the state of the art on benchmark datasets. Importantly, the variational formulation can be exploited to allow classification in problems with millions of data points, as we demonstrate in experiments.

연구 동기 및 목표

• 대규모 데이터셋을 처리할 수 있는 확장 가능한 비공액 GP 분류를 위한 변분 추론 방법의 부족을 해결하기 위해.
• 공분산 행렬을 사전에 근사하지 않는 변분 경계를 개발하여 근사 정확도와 최적화 안정성을 향상시키기 위해.
• 변분 목표 함수의 확률적 최적화를 가능하게 하여 수백만 개의 데이터 포인트를 포함한 데이터셋에서의 학습을 가능하게 하기 위해.
• 딥 GPs와 GP 회귀 네트워크와 같은 복잡한 GP 모델과 호환되는 통합 프레임워크를 제공하기 위해.
• 기존 방법들인 GFITC와 IVM에 비해 기준 및 실세계 데이터셋에서 예측 정확도와 확장성 측면에서 뛰어난 성능을 내기 위해.

제안 방법

• 완전한 공분산 행렬을 사전에 근사하지 않고도 직접 우도 가능성을 근사하는 새로운 변분 경계인 KLSP를 제안한다.
• 유도 입력 Z와 유도 변수 u를 사용한 희소 근사법을 적용하며, q(f|u)는 u에 조건화된 가우시안 프로세스이다.
• 유도 변수의 결합 사후분포를 근사하기 위해 변분 분포 q(u) = N(u|m, S)를 사용한다.
• 제너럴라이즈드 부등식(Jensen의 부등식)을 적용하여 로그-우도 가능성을 위한 하한을 유도함으로써, 계산 가능한 목표 함수를 도출한다.
• ADADELTA 알고리즘을 사용한 미니배치 업데이트를 통해 확률적 최적화를 적용하여, MNIST 및 항공 데이터와 같은 대규모 데이터셋에서의 학습을 가능하게 한다.
• 비가우시안 우도를 위해 변분 목표 함수 내의 로그-우도 항을 근사하기 위해 가우스-에르미트 적분을 사용한다.

실험 결과

연구 질문

• RQ1 완전한 공분산 행렬을 사전에 근사하지 않는 GP 분류를 위한 변분 추론 프레임워크를 설계할 수 있는가?
• RQ2 해당 프레임워크는 수백만 개의 데이터 포인트를 포함한 데이터셋에 대해 확률적 최적화로 스케일링될 수 있는가?
• RQ3 제안된 방법은 예측 정확도와 캘리브레이션 측면에서 기존의 희소 GP 분류 방법보다 뛰어나게 성능을 내는가?
• RQ4 해당 방법은 딥 GPs나 GP 회귀 네트워크와 같은 계층적 GP 모델에 통합될 수 있는가?
• RQ5 실세계의 고차원 대규모 데이터셋, 예를 들어 항공기 지연 예측과 같은 문제에 대해 얼마나 잘 일반화되는가?

주요 결과

• 제안된 KLSP 방법은 기준 데이터셋에서 최신 기술 수준의 GFITC 방법을 초월하여 더 낮은 음의 로그확률과 더 나은 캘리브레이션 성능을 달성한다.
• 60,000개의 학습 포인트를 포함한 MNIST 데이터셋에서, 확률적 최적화를 사용하여 테스트 정확도 97.8%와 음의 로그확률 0.069를 달성했다.
• 590만 개의 항공기 운항 데이터를 포함한 실세계의 항공기 지연 데이터셋에서, 선형 분류기(오차율 37%)에 비해 유의미하게 뛰어난 성능을 보였으며, 음의 로그확률 0.58을 기록하여 예측 성능이 뛰어나다는 것을 시사한다.
• 최적화된 커널 파rameter는 매터니-3/2 커널이 지배적임을 드러내었으며, 시간대와 연도 중 시간이 데이터의 가장 중요한 특성임을 시사하여 데이터의 높은 비선형성을 반영한다.
• 기존의 평균장 기반 희소 접근법과 달리, 안정적인 최적화 행동을 보였으며, 낮은 캘리브레이션으로 인한 불안정한 성능을 보이던 방법과 대비된다.
• KLSP 경계는 확률적 최적화를 가능하게 하여, 기존 GP 방법으로는 처리가 어려웠던 대규모 데이터 응용 분야에서 GP 분류의 실현 가능성을 높였다.