[논문 리뷰] The Arrow of Time in Multivariate Time Series

Stefan Bauer, Bernhard Schölkopf외 1명|arXiv (Cornell University)|2016. 03. 02.

Blind Source Separation Techniques참고 문헌 17인용 수 6

한 줄 요약

이 논문은 비정규 분포를 가진 오차항을 가진 선형 VARMA 과정으로 생성된 다변량 시간열이 시간 반전성의 붕괴로 인해 시간 방향으로 식별 가능하다는 것을 입증하며, 시간의 화살을 탐지하기 위한 이론적 기반을 제공한다. 이 방법은 HSIC를 통한 잔차의 통독성 검정을 사용하여 온건한 정규성 조건 하에서 일致적으로 올바른 시간 방향을 추론한다. 이는 단변량 결과를 다변량 설정으로 확장하여 실제 데이터에서 성능이 향상됨을 보여준다.

ABSTRACT

We prove that a time series satisfying a (linear) multivariate autoregressive moving average (VARMA) model satisfies the same model assumption in the reversed time direction, too, if all innovations are normally distributed. This reversibility breaks down if the innovations are non-Gaussian. This means that under the assumption of a VARMA process with non-Gaussian noise, the arrow of time becomes detectable. Our work thereby provides a theoretic justification of an algorithm that has been used for inferring the direction of video snippets. We present a slightly modified practical algorithm that estimates the time direction for a given sample and prove its consistency. We further investigate how the performance of the algorithm depends on sample size, number of dimensions of the time series and the order of the process. An application to real world data from economics shows that considering multivariate processes instead of univariate processes can be beneficial for estimating the time direction. Our result extends earlier work on univariate time series. It relates to the concept of causal inference, where recent methods exploit non-Gaussianity of the error terms for causal structure learning.

연구 동기 및 목표

• 다변량 시간열의 역학으로부터 시간 방향을 그 통계적 성질로부터 식별할 수 있는 이론적 조건을 확립하는 것.
• 선형 자기회귀이동평균(VARMA) 과정을 사용한 다변량 시간열로 단변량 시간 방향 추론 방법을 확장하는 것.
• 잔차의 통독성 검정을 이용한 시간 방향 추론을 위한 실용적 알고리즘의 일致성 증명을 제공하는 것.
• 표본 크기, 차원 수, 과정의 차수 등이 시간 방향 추정 성능에 미치는 영향을 조사하는 것.
• 실제 시간열 데이터에서 다변량 모델링이 단변량 접근법에 비해 어떤 이점을 제공하는지 보여주는 것.

제안 방법

• 논문은 독립적이고 동일하게 분포된 오차항을 가진 선형 VARMA 과정을 사용하여 다변량 시간열을 모델링하며, 약한 stationarity와 인과적 구조를 가정한다.
• 시간 반전성의 성립 조건이 오직 오차항이 정규분포일 경우에만 성립함을 증명하여, 비정규성 조건에서는 시간 반전성이 붕괴되며 이는 시간 방향 탐지가 가능함을 의미한다.
• 실용적인 알고리즘을 제안하며, 데이터에 VARMA 모델을 적합하고 양방향 시간 방향(앞으로와 뒤로)에서 잔차와 과거 값 간의 조건부 통독성을 검정한다.
• 잔차와 과거 관측치 간의 종속성 여부를 검정하기 위해 가우시안 커널을 사용한 힐버트-스미스 독립성 기준(HSIC)을 사용한다.
• 알고리즘의 일치성은 균일 혼합 조건과 진짜 모델이 정확히 특정된 조건 하에서 증명된다.
• 행렬 전달 함수 표현과 Darmois-Skitovich 정리를 사용하여 VARMA(1,1)에서 고차수 과정으로 이론 결과를 확장한다.

실험 결과

연구 질문

• RQ1 다변량 시간열의 시간 방향은 어떤 조건에서 그 통계적 성질로부터 식별 가능한가?
• RQ2 오차항이 비정규일 경우 VARMA 과정의 시간 반전성이 붕괴되며, 이를 통해 올바른 시간 방향을 추론할 수 있는가?
• RQ3 시간 방향 추론의 성능는 표본 크기, 차원 수, 과정의 차수에 따라 어떻게 달라지는가?
• RQ4 다변량 모델링은 단변량 접근법에 비해 시간 방향 추정 성능를 향상시킬 수 있는가?
• RQ5 모델 잘못 지정 또는 데이터 의존성 조건 하에서도 제안된 알고리즘이 일치하는가?

주요 결과

• 다변량 VARMA 과정의 시간 방향은 오직 오차항이 비정규일 경우에만 식별 가능하며, 비정규성 조건에서는 시간 반전성이 붕괴되기 때문이다.
• HSIC 기반의 잔차 통독성 검정을 사용한 제안된 알고리즘은 균일 혼합 조건과 정확한 모델 특정 조건 하에서 일치성이 보장된다.
• 실험 결과에 따르면 다변량 모델링이 단변량 방법에 비해 시간 방향 추정 성능를 크게 향상시키며, 특히 고차원 설정에서 두드러진다.
• 모델 잘못 지정 조건에서도 강인하게 작동하며, 일반적으로 잘못된 추론 대신 '결정 불가' 결과를 내놓는다.
• 표본 크기가 클수록 차원 수가 높을수록 성능이 향상되며, 특히 적어도 하나의 오차 성분이 비정규일 경우 두드러진다.
• 이론적 프레임워크는 단변량 결과(Peters et al., 2009)를 다변량 시간열로 일반화하며, 영상 방향 추론 방법(Pickup et al., 2014)에 대한 사후적 정당화를 제공한다.