[논문 리뷰] Variational Gaussian Processes with Signature Covariances.

Csaba Tóth, Harald Oberhauser|arXiv (Cornell University)|2019. 06. 19.

Gaussian Processes and Bayesian Inference참고 문헌 18인용 수 7

한 줄 요약

이 논문은 스트림 형식의 데이터를 위한 서명 커널을 사용하는 변분 가우시안 프로세스 모델을 제안하며, 희소 유도 텐서를 활용해 계산 비용을 줄여 시간 시리즈와 텍스트 데이터로부터 효율적으로 학습할 수 있도록 한다. 이 방법은 베이지안 불확실성 정량화를 유지하면서도 지도 학습 분류 과제에서 뛰어난 성능을 달성한다.

ABSTRACT

We introduce a Bayesian approach to learn from stream-valued data by using Gaussian processes with the recently introduced signature kernel as covariance function. To cope with the computational complexity in time and memory that arises with long streams that evolve in large state spaces, we develop a variational Bayes approach with sparse inducing tensors. We provide an implementation based on GPFlow and benchmark this variational Gaussian process model on supervised classification tasks for time series and text (a stream of words).

연구 동기 및 목표

• 긴 스트림 데이터에 대해 고차원 상태 공간에서 가우시안 프로세스의 스케일링 문제를 해결하기 위해.
• 시간 시리즈와 텍스트와 같은 순차적 데이터에 대해 서명 변환에서 유도된 커널을 사용해 베이지안 학습을 가능하게 하기 위해.
• 희소 유도 텐서를 활용한 변분 베이즈 접근을 통해 시간과 메모리 복잡도를 감소시키기 위해.
• 스트림 형식의 데이터에 대한 스케일러블하고 불확실성 인식이 가능한 지도 학습 분류 모델을 제공하기 위해.

제안 방법

• 모델은 복잡한 시간적 및 순차적 의존성을 포착하기 위해 가우시안 프로세스의 공분산 함수로 서명 커널을 사용한다.
• 함수의 사후 분포를 근사하기 위해 변분 베이즈 근사를 사용하여 확장 가능한 추론을 가능하게 한다.
• 공분산 구조의 표현을 압축하기 위해 희소 유도 텐서를 도입하여 메모리 및 계산 비용을 감소시킨다.
• 효율성을 위해 자동 미분과 GPU 가속을 활용한 GPFlow를 사용해 모델을 구현한다.
• 대규모 데이터를 처리하기 위해 확률적 경사 하강법을 사용해 변분 목표를 최적화한다.

실험 결과

연구 질문

• RQ1 서명 커널이 베이지안 프레임워크 내에서 시간 시리즈와 텍스트와 같은 순차적 데이터를 효과적으로 모델링할 수 있는가?
• RQ2 희소 유도 텐서를 사용한 변분 추론은 긴 시퀀스와 고차원 상태 공간에 어떻게 스케일링되는가?
• RQ3 시간 시리즈와 텍스트 데이터에서 제안된 모델의 분류 정확도는 기준 모델 대비 어떻게 되는가?
• RQ4 계산 효율성을 확보하면서도 모델은 불확실성 추정을 얼마나 잘 유지하는가?

주요 결과

• 모델은 시간 시리즈와 텍스트 벤치마크에서 경쟁력 있는 분류 성능을 달성하여 서명 커널이 순차적 구조를 효과적으로 포착함을 입증한다.
• 희소 유도 텐서의 사용으로 인해 메모리 및 계산 비용이 크게 감소하여 더 긴 시퀀스로의 확장 가능성이 향상된다.
• 변분 추론 프레임워크는 신뢰할 수 있는 불확실성 추정을 유지하여 견고한 의사결정을 지원한다.
• GPFlow에서의 구현은 효율적인 훈련과 추론을 가능하게 하여 실용적 구현을 촉진한다.