[논문 리뷰] Streaming Sparse Gaussian Process Approximations

Thang D. Bui, Cuong V. Nguyen외 1명|arXiv (Cornell University)|2017. 05. 19.

Gaussian Processes and Bayesian Inference참고 문헌 15인용 수 24

한 줄 요약

이 논문은 스파스한 가우시안 프로세스 근사에 대한 원칙적인 스트리밍 프레임워크를 제안하며, 하이퍼파rameter의 온라인 학습과 의사 입력 위치의 최적화를 가능하게 한다. 변분 추론과 기대값 전파를 스트리밍 환경에 확장함으로써, 증분 업데이트를 통해 정확하고 확장 가능한 추론을 달성하며, 순차적 데이터에 대한 적응성과 속도 면에서 배치 방법을 능가한다.

ABSTRACT

Sparse pseudo-point approximations for Gaussian process (GP) models provide a suite of methods that support deployment of GPs in the large data regime and enable analytic intractabilities to be sidestepped. However, the field lacks a principled method to handle streaming data in which both the posterior distribution over function values and the hyperparameter estimates are updated in an online fashion. The small number of existing approaches either use suboptimal hand-crafted heuristics for hyperparameter learning, or suffer from catastrophic forgetting or slow updating when new data arrive. This paper develops a new principled framework for deploying Gaussian process probabilistic models in the streaming setting, providing methods for learning hyperparameters and optimising pseudo-input locations. The proposed framework is assessed using synthetic and real-world datasets.

연구 동기 및 목표

• 스트리밍 데이터 환경에서 가우시안 프로세스 모델에 대한 원칙적인 온라인 방법의 부족을 해결한다.
• 하이퍼파ram터 학습에 하향적 히우리스틱에 의존하거나 치명적인 잊힘 현상에 시달리는 기존 접근법의 한계를 극복한다.
• 새로운 데이터가 도착함에 따라 사후 분포와 모델 하이퍼파ram터에 대한 증분 업데이트를 가능하게 한다.
• 이전의 온라인 GP 방법들인 Csató와 Opper의 VFE 및 EP 접근법을 일반화하고 향상시키는 통합된 프레임워크를 제공한다.
• 증분 업데이트를 통해 과거 데이터를 모두 활용하고 재학습 오버헤드를 최소화함으로써 효율적이고 확장 가능한 추론을 지원한다.

제안 방법

• 온라인 GP 근사를 위한 변분 자유 에너지(VFE) 기반의 스트리밍 변분 추론 프레임워크를 수립한다.
• 강력하고 민감한 사후 추정을 가능하게 하기 위해 프레임워크를 파워-EP(EP)로 확장한다.
• 손으로 조정한 히우리스틱을 피하기 위해 자연 경사 하강법을 사용한 원칙적인 온라인 하이퍼파aram터 학습 방법을 개발한다.
• 모델 정확도를 유지하면서 새로운 데이터에 적응하는 스트로스틱 최적화 기법을 사용해 의사 입력 위치를 증분적으로 최적화한다.
• 대규모 데이터셋에 대응하기 위해 미니배치 데이터 처리를 활용하고, 계산 효율성을 유지하는 증분 업데이트를 구현한다.
• 재학습 비용을 줄이고 치명적인 잊힘 현상을 방지하기 위해 이전의 근사 사후 분포를 현재 모델에 통합한다.

실험 결과

연구 질문

• RQ1 하이퍼파aram터 학습과 의사 입력 최적화를 모두 지원하는 원칙적인 온라인 가우시안 프로세스 추론 프레임워크를 개발할 수 있는가?
• RQ2 제안된 방법은 스트리밍 데이터에서 예측 정확도와 계산 효율성 면에서 배치 추론과 비교해 어떻게 성능을 내는가?
• RQ3 새로운 데이터가 순차적으로 도착할 때, 치명적인 잊힘 현상을 어느 정도 피할 수 있는가?
• RQ4 이 방법은 데이터 도착 순서에 얼마나 민감한가, 그리고 다양한 데이터 스트림 패턴에서도 안정적인 성능을 유지할 수 있는가?
• RQ5 이 프레임워크는 VFE와 EP와 같은 기존 온라인 GP 방법들을 특수한 경우로 일반화하면서도 그 성능을 향상시킬 수 있는가?

주요 결과

• 제안된 스트리밍 프레임워크는 충분한 수의 의사 포인트를 사용할 경우 전체 배치 GP 회귀와 유사한 예측 성능을 달성한다.
• 하이퍼파aram터 학습은 시간이 지남에 따라 참값으로 수렴하며, 길이 척도가 작은 작업에서는 정확한 추정을 위해 더 많은 의사 포인트가 필요하다.
• 다양한 데이터 도착 순서에 걸쳐 안정적인 성능을 유지하며, 충분한 데이터 이후 분류 오차가 배치 수준에 가까운 수준(예: 0.095)으로 감소한다.
• 시간 시계열 및 공간 데이터셋에서 높은 마진 로그우도와 낮은 RMSE를 달성하며, 배치 크기와 의사 포인트 수에 따라 성능이 잘 스케일링된다.
• 히우리스틱 기반의 하이퍼파aram터 업데이트를 피하고 증분 사후 분포 업데이트를 통해 잊힘 현상을 줄임으로써 기존 스트리밍 방법보다 우수한 성능을 낸다.
• 합성 및 실세계 데이터셋(음성 및 지형 데이터 포함)에 대한 실험을 통해, 이 방법이 비-iid 및 iid 스트리밍 환경 모두에서 강건성과 확장성을 입증한다.