[논문 리뷰] Dimensionality reduction for time series data

Diego Vidaurre, Iead Rezek외 3명|arXiv (Cornell University)|2014. 06. 14.

Control Systems and Identification참고 문헌 20인용 수 3

한 줄 요약

이 논문은 시간 시리즈 데이터의 차원 감소를 위해 베이지안 저질서 다변량 자기회귀 모델(LR-MAR)을 제안하며, 자코비안 계수 행렬을 저질서 구조로 근사화하여 시간에 따른 의존성을 명시적으로 모델링한다. 기존의 i.i.d. 가정 기반 기법들인 PCA와 비교해 동적 상관관계를 포착하고 변분 베이지안 추론 프레임워크를 통해 동시에 차원 감소와 스무딩을 가능하게 하여 성능이 뛰어나다.

ABSTRACT

Despite the fact that they do not consider the temporal nature of data, classic dimensionality reduction techniques, such as PCA, are widely applied to time series data. In this paper, we introduce a factor decomposition specific for time series that builds upon the Bayesian multivariate autoregressive model and hence evades the assumption that data points are mutually independent. The key is to find a low-rank estimation of the autoregressive matrices. As in the probabilistic version of other factor models, this induces a latent low-dimensional representation of the original data. We discuss some possible generalisations and alternatives, with the most relevant being a technique for simultaneous smoothing and dimensionality reduction. To illustrate the potential applications, we apply the model on a synthetic data set and different types of neuroimaging data (EEG and ECoG).

연구 동기 및 목표

• 기본적인 차원 감소 방법들인 PCA와 같이 i.i.d. 데이터 포인트를 가정하고 시간 시리즈의 시간적 의존성을 忽시하는 한계를 해결하기 위해.
• 다변량 자기회귀(MAR) 역학에 기반한 확률적 요인 모델을 개발하여, 자기회귀 행렬의 저질서 근사화를 통해 시간적 상관관계를 명시적으로 모델링하기 위해.
• 고차원 시간 시리즈에서 시간적 구조를 유지하면서 오버피팅을 줄이고 효과적인 차원 감소를 가능하게 하기 위해, 특히 신경영상 응용 분야에서 유의미한 결과를 도출하기 위해.
• 변분 자유 에너지 기반의 원칙적인 베이지안 프레임워크를 제공하여 모델 복잡도 제어와 하이퍼파rameter 선택을 위한 자동 관련성 결정을 실현하기 위해.
• 창문형 CCA(wCCA)와 같은 확장 기법을 탐색하여 동시에 스무딩과 차원 감소를 수행하고, 비정상적인 동적 특성을 위한 은닉 상태에 의존하는 모델을 제안하기 위해.

제안 방법

• 다변량 자기회귀(MAR) 모델의 자기회귀 계수 행렬에 저질서 분해를 도입하여, 매개변수 수를 $PN^2$에서 $PNQ$로 감소시킴($Q < N$).
• 자기회귀 계수에 공액 가우시안 사전분포를 적용한 베이지안 설정을 도입하여 변분 베이지안 추론과 자동 관련성 결정을 가능하게 함.
• 낮은 차원 상태를 나타내는 잠재 변수 $\bm{z}_t$ 를 도입하고, 관측 신호 $\bm{y}_t$ 를 저질서 행렬 $\bm{W}_i$ 와 $\bm{V}$ 를 통한 과거 상태의 선형 조합으로 모델링함.
• 후행 분포 근사와 모델 선택을 위해 자유 에너지 목적함수를 사용하는 변분 추론을 적용하며, 자기회귀 차수 $P$ 와 잠재 차원 $Q$ 를 포함한 하이퍼파rameter 선택을 수행함.
• 다중 지연값을 과거 데이터 포인트의 선형 함수로 모델링함으로써 동시에 차원 감소와 스무딩을 수행하는 창문형 CCA(wCCA)로 모델을 일반화함.
• 은닉 상태에 따라 $\bm{W}$ 와 $\bm{V}$ 가 변화하는 히든 마르코프 모델로 확장하여, 비정상적인 동적 특성의 탐지와 비정상 시간 시리즈의 비지도 분류 가능성을 제공함.

실험 결과

연구 질문

• RQ1 다변량 자기회귀 모델의 저질서 근사화가 시간 시리즈 데이터의 시간적 의존성을 유지하면서 효과적으로 차원 감소를 수행할 수 있는가?
• RQ2 제안된 LR-MAR 모델이 표준 PCA 및 기타 i.i.d.-기반 요인 모델에 비해 시간 시리즈의 분산과 구조를 얼마나 잘 포착하는가?
• RQ3 변분 추론 기반의 베이지안 프레임워크가 고차원 시간 시리즈에서 자동 모델 선택과 정규화를 얼마나 잘 실현할 수 있는가?
• RQ4 창문형 CCA(wCCA)를 통한 동시 스무딩과 차원 감소가 예측 성능과 데이터 압축 측면에서 별도의 사전 처리 단계를 초월하는가?
• RQ5 은닉 상태에 의존하는 매개변수를 통해 모델이 동적 특성 변화를 얼마나 잘 탐지하고 표현할 수 있는가?

주요 결과

• LR-MAR 모델은 저질서 자기회귀 행렬을 통해 시간적 상관관계를 포착함으로써 효과적인 차원 감소를 달성하며, 시간 시리즈 데이터에서 분산을 설명하는 데 있어 i.i.d.-기반 모델인 PCA보다 뚜렷이 뛰어난 성능을 보였다.
• 합성 데이터에서 모델은 최소한의 구성 요소로 진짜로 존재하는 저차원 역학을 정확히 복원하고, 강건한 매개변수 추정 성능을 보였다.
• 실제 EEG 및 ECoG 신경영상 데이터에서 LR-MAR는 후속 지도 학습 작업을 향상시키는 압축되고 의미 있는 저차원 표현을 제공하였다.
• 변분 자유 에너지 기준은 외부 검증이 필요 없이 최적의 자기회귀 차수 $P$ 와 잠재 차원 $Q$ 를 식별하는 데 성공적으로 지도함.
• 창문형 CCA(wCCA) 변형은 동시에 스무딩과 차원 감소를 수행하며, 데이터 압축과 노이즈 억제 측면에서 뛰어난 성능을 보였다.
• 은닉 상태에 의존하는 모델 확장은 동적 제도 변화 탐지에 성공하였으며, 비정상적인 시간 시리즈의 비지도 분류 가능성을 열어주었다.