[논문 리뷰] Bayesian Structure Learning for Stationary Time Series

Alex Tank, Nicholas J. Foti외 1명|arXiv (Cornell University)|2015. 05. 12.

Bayesian Modeling and Causal Inference참고 문헌 27인용 수 11

한 줄 요약

이 논문은 정적 시간 시리즈를 위한 베이지안 구조 학습 프레임워크를 제안하며, 역 스펙트럼 밀도 행렬의 영수를 통한 조건부 인적을 모델링한다. 공액 초복소 역와이스만 분포를 도입하고 윌틀리 우도 근사법을 활용함으로써 스펙트럼 행렬의 해석적 최소화를 가능하게 하여, 그래프 추론을 위한 효율적인 스위치 검색을 지원하는 폐쇄형 마진 우도를 도출한다. 이는 주식 및 뇌 영상 데이터에서 검증되었다.

ABSTRACT

While much work has explored probabilistic graphical models for independent data, less attention has been paid to time series. The goal in this setting is to determine conditional independence relations between entire time series, which for stationary series, are encoded by zeros in the inverse spectral density matrix. We take a Bayesian approach to structure learning, placing priors on (i) the graph structure and (ii) spectral matrices given the graph. We leverage a Whittle likelihood approximation and define a conjugate prior---the hyper complex inverse Wishart---on the complex-valued and graph-constrained spectral matrices. Due to conjugacy, we can analytically marginalize the spectral matrices and obtain a closed-form marginal likelihood of the time series given a graph. Importantly, our analytic marginal likelihood allows us to avoid inference of the complex spectral matrices themselves and places us back into the framework of standard (Bayesian) structure learning. In particular, combining this marginal likelihood with our graph prior leads to efficient inference of the time series graph itself, which we base on a stochastic search procedure, though any standard approach can be straightforwardly modified to our time series case. We demonstrate our methods on analyzing stock data and neuroimaging data of brain activity during various auditory tasks.

연구 동기 및 목표

• 조건부 인적을 스펙트럼 제약 조건을 통해 모델링하여 독립 데이터에서 정적 시간 시리즈로의 베이지안 구조 학습을 확장한다.
• 시간 시리즈 그래픽 모델에서 고차원적 복소수 스펙트럼 행렬의 문제를 해결한다.
• 그래프 제약 조건을 충족시키며 해석적 최소화를 가능하게 하는 공액 사전인 초복소 역와이스만 분포를 개발한다.
• 스펙트럼 행렬에 대한 후행 추론이 필요 없도록 폐쇄형 마진 우도를 유도함으로써 효율적인 구조 학습을 가능하게 한다.
• 실세계 시간 시리즈 데이터, 특히 주식 수익률과 청각 작업 중 뇌 활동에 대한 적용을 통해 방법의 유용성을 입증한다.

제안 방법

• 정적 시간 시리즈의 우도를 단순화하기 위해 윌틀리 우도 근사법을 사용하여 효율적인 계산을 가능하게 한다.
• 그래프 구조에 의해 제약되는 복소수 스펙트럼 행렬에 대해 공액 사전으로 초복소 역와이스만 분포를 도입한다.
• 그래프 조건 하에 스펙트럼 행렬을 해석적으로 통합함으로써 폐쇄형 마진 우도를 유도한다.
• 해석적으로 계산된 마진 우도에 의해 지도되는 스위치 검색 절차를 사용하여 가능한 그래프 구조의 공간을 탐색한다.
• 마진 우도를 통한 그래프 점수 계산으로 표준 베이지안 구조 학습 기법과 호환성을 유지한다.
• 조건부 인적 관계를 역 스펙트럼 밀도 행렬의 영수로 표현함으로써 다변량 시간 시리즈에 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 조건부 인적이 스펙트럼 도메인에 코딩된 정적 시간 시리즈에 대해 베이지안 구조 학습을 어떻게 적응시킬 수 있는가?
• RQ2 복소수 스펙트럼 행렬에 대해 그래프 제약 조건이 있는 공액 사전 분포는 무엇이 될 수 있는가?
• RQ3 그래프가 주어졌을 때 스펙트럼 행렬에 대한 후행 샘플링이 필요 없이 폐쇄형 마진 우도를 도출할 수 있는가?
• RQ4 시간 시리즈 그래프 발견에서 기존 방법과 비교해 본다면, 제안된 방법의 계산 효율성과 정확도는 어떠한가?
• RQ5 주식 수익률과 청각 작업 중 뇌 활동과 같은 실세계 데이터에 적용했을 때 어떤 통찰을 얻을 수 있는가?

주요 결과

• 공액성 덕분에 스펙트럼 행렬에 대한 MCMC나 변분 추론이 필요 없이 해석적 마진 우도 계산이 가능하다.
• 초복소 역와이스만 사전은 스펙트럼 행렬이 양의 정부호를 유지하고 그래프에 코딩된 조건부 인적 구조를 존중함을 보장한다.
• 폐쇄형 마진 우도 덕분에 그래프 구조에 대한 효율적인 스위치 검색이 가능해져, 전체 후행 추론에 비해 계산 비용을 크게 감소시킨다.
• 다변량 주식 수익률 데이터에서 의미 있는 조건부 인적 구조를 성공적으로 식별하여 잠재적 의존성을 드러냈다.
• 뇌영상 데이터에서는 청각 처리 작업 중 알려진 기능적 뇌 네트워크를 반영하는 시간 시리즈 그래프를 발견하였다.
• 그래프 사전과 스펙트럼 제약 조건을 재정의함으로써 이 프레임워크는 어떤 정적 다변량 시간 시리즈에도 일반화 가능하다.