[논문 리뷰] Discovering Latent Covariance Structures for Multiple Time Series

Anh Tong, Jaesik Choi|arXiv (Cornell University)|2017. 03. 28.

Time Series Analysis and Forecasting인용 수 11

한 줄 요약

이 논문은 인도 버버드 프로세스(IBP) 사전분포를 사용하여 다중 시계열 간 공유되고 해석 가능한 공분산 구조를 발견하는 새로운 가우시안 프로세스 프레임워크인 잠재 커널 모델(Latent Kernel Model, LKM)을 제안한다. 이는 이질적이고 상관관계가 있는 시계열 간에서 구성적 커널의 유연하고 데이터 기반의 선택을 가능하게 하여, 기존의 다중 작업 GP 및 커널 발견 방법보다 뛰어난 예측 성능을 달성하고 인간이 읽을 수 있는 비교 보고서를 생성한다. 실제 데이터셋에서 최신 기술 수준의 성능을 크게 뛰어넘는다.

ABSTRACT

Analyzing multivariate time series data is important to predict future events and changes of complex systems in finance, manufacturing, and administrative decisions. The expressiveness power of Gaussian Process (GP) regression methods has been significantly improved by compositional covariance structures. In this paper, we present a new GP model which naturally handles multiple time series by placing an Indian Buffet Process (IBP) prior on the presence of shared kernels. Our selective covariance structure decomposition allows exploiting shared parameters over a set of multiple, selected time series. We also investigate the well-definedness of the models when infinite latent components are introduced. We present a pragmatic search algorithm which explores a larger structure space efficiently. Experiments conducted on five real-world data sets demonstrate that our new model outperforms existing methods in term of structure discoveries and predictive performances.

연구 동기 및 목표

• 다수의 상관관계가 있는 시계열 간에 잠재적이고 공유되는 공분산 구조를 발견하는 과제를 해결하기 위해.
• 자동으로 구성적 커널 구조를 학습함으로써 다변량 시계열 모델링에서 예측 성능을 향상시키기 위해.
• 강한 상관관계 가정이 필요 없이도 인간이 이해할 수 있는 시계열 관계 보고서를 생성할 수 있도록 하기 위해.
• 다수의 시계열에 걸쳐 큰 공간의 잠재 커널 조합을 탐색하기 위한 효율적인 검색 알고리즘 개발을 위해.
• 기존의 ABCD와 같은 커널 발견 프레임워크를 다중 시계열 환경으로 일반화하고, 커널 성분의 민첩하고 부분적인 공유를 가능하게 하기 위해.

제안 방법

• 다양한 시계열이 어떤 덧셈형 커널 성분을 공유하는지 나타내는 지표 행렬에 인도 버버드 프로세스(IBP) 사전분포를 적용하여, 커널 공유를 모델링한다.
• 무한한 잠재 성분이 존재하더라도 수학적으로 잘 정의된 상태를 유지하면서 데이터로부터 공유되는 커널 구조를 학습하는 비모수적 GP 모델인 잠재 커널 모델(LKM)을 도입한다.
• 조합적으로 복잡한 큰 공간을 효율적으로 탐색하기 위해 실용적 검색 알고리즘(PSE)을 활용한다.
• 잠재 특징을 스 tochastic kernel process로 표현하고, 다수의 시계열 간에 민감하고 공유 가능한 매개변수화를 가능하게 한다.
• 근사 추론을 적용하여 실제 데이터셋에 스케일링하면서도 발견된 커널 구조의 해석 가능성 유지.
• 후행 분포의 실현치를 분석하여 GP 함수의 특성을 비교함으로써, 시계열 간 유사점과 차이점을 강조하는 비교 보고서를 생성한다.

실험 결과

연구 질문

• RQ1 다양하고 이질적인 시계열 간에 자동으로 공유되고 해석 가능한 공분산 구조를 어떻게 발견할 수 있는가?
• RQ2 다수의 시계열 간에 커널 성분을 민감하고 부분적으로 공유할 수 있는 잘 정의된 비모수적 GP 모델은 무엇인가?
• RQ3 데이터를 가장 잘 설명하는 조합적 커널 구조를 찾기 위해, 매우 큰 잠재 커널 조합 공간을 어떻게 효율적으로 탐색할 수 있는가?
• RQ4 시계열 간에 공유되는 커널 구조를 학습하는 모델이 기존의 다중 작업 GP 및 커널 발견 방법보다 예측 정확도에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ5 발견된 커널 구조는 어느 정도 해석 가능하며, 이를 바탕으로 인간이 이해할 수 있는 의미 있는 시계열 관계 비교 보고서를 얼마나 효과적으로 생성할 수 있는가?

주요 결과

• LKM는 다섯 개의 실제 데이터셋 중 네 개에서 가장 낮은 RMSE를 기록했으며, GONU 데이터셋에서는 평균 RMSE 4.58±0.16을 기록하여 ABCD(8.37±0.03)와 R-ABCD(4.88±0.03)를 크게 앞서나갔다.
• 모든 데이터셋에서 가장 낮은 평균 음의 로그 예측 밀도(NMLP)를 기록했으며, GONU에서는 1.90±0.25를 기록하여 ABCD(2.21±0.03)와 R-ABCD(2.01±0.10)보다 우수했다.
• GONU와 같이 복잡하고 관계가 풍부한 데이터에서는 R-ABCD가 전역 커널 공유 가정의 제약으로 실패한 반면, LKM는 뛰어난 성능을 보였다.
• 공유 커널을 통해 원자유와 달러화 지수 간의 음의 상관관계와 같은 미세한 관계를 성공적으로 포착했으며, 이는 시각적·의미적으로 해석 가능한 형태로 나타났다.
• 검색 알고리즘(PSE)을 통해 큰 커널 공간을 효율적으로 탐색했고, LKM는 기준 방법보다 더 빠른 수렴과 더 나은 일반화 성능을 보였다.
• LKM는 시계열 간 공통 및 차별적 커널 특성을 강조하는 고품질의 인간이 읽을 수 있는 비교 보고서를 생성하여, 전문가가 아닌 사용자에게도 해석 가능성을 향상시켰다.