[논문 리뷰] Bayesian Learning from Sequential Data using Gaussian Processes with Signature Covariances

Csaba D. Tóth, Harald Oberhauser|arXiv (Cornell University)|2019. 06. 19.

Gaussian Processes and Bayesian Inference인용 수 19

한 줄 요약

이 논문은 서열 데이터에 대한 베이지안 프레임워크를 제안하며, 서명 기반 공분산 함수를 갖는 가우시안 프로세스를 사용하여 복잡한 시간적 종속성을 정확하게 모델링한다. 희소 변분 추론과 유도 텐서를 결합하고 LSTMs/GRUs와 통합함으로써, 다변량 시계열 분류 벤치마크에서 최고 수준의 정확도와 잘 校정된 불확실성 추정을 달성한다.

ABSTRACT

We develop a Bayesian approach to learning from sequential data by using Gaussian processes (GPs) with so-called signature kernels as covariance functions. This allows to make sequences of different length comparable and to rely on strong theoretical results from stochastic analysis. Signatures capture sequential structure with tensors that can scale unfavourably in sequence length and state space dimension. To deal with this, we introduce a sparse variational approach with inducing tensors. We then combine the resulting GP with LSTMs and GRUs to build larger models that leverage the strengths of each of these approaches and benchmark the resulting GPs on multivariate time series (TS) classification datasets. Code available at https://github.com/tgcsaba/GPSig.

연구 동기 및 목표

• 변수 길이의 입력과 복잡한 시간적 종속성을 갖는 서열 데이터에 가우시안 프로세스를 적용하는 데 도전한다.
• 완전한 서명 커널의 계산 비용이 과도한 점을 고려해, 유도 텐서를 사용한 희소 변분 추론 프레임워크를 도입하여 GP 추론의 확장 가능성을 높인다.
• 서명 기반 GPs를 딥 러닝 모델(LSTM, GRU)과 통합하여, 베이지안 불확실성 측정과 딥 리présentation 학습의 이점을 결합한다.
• 표준 시계열 분류 데이터셋에서 제안된 방법을 벤치마크하여 예측 정확도와 불확실성 보정 능력을 평가한다.

제안 방법

• 스토크라틱 분석에서 유도되는 순서의 텐서 표현을 활용하여, 서명 커널을 공분산 함수로 사용하는 가우시안 프로세스를 정의한다.
• 계산 비용을 줄이면서도 표현력을 유지하기 위해, 상호 도메인 유도 텐서를 사용하는 희소 변분 추론 접근법을 도입한다.
• 유도 점과 커널 하이퍼파ram터를 확장 가능한 방식으로 학습하기 위해 변분 하한을 최적화한다.
• 결과로 도출된 GP를 순환 신경망(LSTM, GRU)과 결합하여, 베이지안 불확실성과 깊은 순차적 특징 학습의 이점을 모두 누리는 하이브리드 모델을 생성한다.
• 서명 커널을 사용해 순서를 힐버트 공간으로 매핑함으로써, 선형 방법이 비선형 종속성을 모델링할 수 있도록 한다.
• 다변량 시계열 분류에 이 프레임워크를 적용하며, 불확실성 추정이 포함된 확률적 분류기로 GP를 사용한다.

실험 결과

연구 질문

• RQ1 높은 계산 비용에도 불구하고 서명 기반 커널이 서열 데이터의 가우시안 프로세스에서 공분산 함수로 효과적으로 사용될 수 있는가?
• RQ2 유도 텐서를 사용한 희소 변분 추론이 서명 커널에 어떻게 적용되어 GP 추론의 확장 가능성을 높일 수 있는가?
• RQ3 GPs와 LSTMs/GRUs를 융합한 하이브리드 모델이 시계열 벤치마크에서 분류 정확도와 불확실성 보정 능력에 얼마나 기여하는가?
• RQ4 비베이지안 딥 러닝 모델과 다른 베이지안 모델에 비해 제안된 방법의 예측 성능과 불확실성 보정 능력은 어떻게 비교되는가?

주요 결과

• 제안된 서명 공분산을 갖는 GP는 16개의 다변량 시계열 분류 데이터셋에서 최고 수준의 정확도를 달성하였으며, 평균 정확도는 0.948, 평균 순위는 2.688이다.
• GP-LSTM 및 GP-GRU 모델은 독립적인 GP-KConv1D 및 기타 베이스라인을 초월하며, 아랍어 숫자 데이터셋에서 GP-GRU는 0.994±0.002의 정확도를 기록했다.
• 음의 로그 예측 확률(probability) 박스플롯을 통해 잘 校정된 불확실성 추정이 이루어졌음을 입증하였으며, 더 좁고 신뢰할 수 있는 불확실성 측정이 가능했다.
• AUSLAN 데이터셋에서 GP-GRU는 0.978±0.006의 정확도를 기록했으며, 최고의 비베이지안 베이스라인인 MLSTMFCN(0.970)을 능가했다.
• 고차원 및 긴 시계열(예: PEMS, UWave)을 포함한 다양한 데이터셋에서도 높은 성능을 유지하였으며, 평균 정확도는 각각 0.763과 0.970이었다.
• GPs와 RNN의 통합은 강건성을 향상시켰으며, GP-LSTM은 Walk vs Run 및 Shapes 데이터셋에서 1.000±0.000의 정확도를 달성하여 최고 성능을 보인 모델과 동일한 성능을 보였다.