[논문 리뷰] Unsupervised Discovery of Temporal Structure in Noisy Data with Dynamical Components Analysis

David G. Clark, Jesse A. Livezey외 1명|arXiv (Cornell University)|2019. 05. 23.

Time Series Analysis and Forecasting참고 문헌 58인용 수 10

한 줄 요약

Dynamical Components Analysis (DCA)는 예측 정보(과거 상태와 미래 상태 간 상호정보량으로 정의됨)를 최대화함으로써 고차원 시계열 데이터에서 저차원 부분공간을 발견하는 선형 차원 축소 방법이다. 이 방법은 미분 가능한 가우시안 근사법을 사용하여 구현되며, PCA 및 기타 선형 방법보다 진정된 역학적 구조를 더 잘 추출하여 합성 및 실제 데이터 세트(신경 활동, 기상, 운동학 등)에서 미래 상태 예측 및 보조 변수 복원 작업에서 뛰어난 성능을 보인다.

ABSTRACT

Linear dimensionality reduction methods are commonly used to extract low-dimensional structure from high-dimensional data. However, popular methods disregard temporal structure, rendering them prone to extracting noise rather than meaningful dynamics when applied to time series data. At the same time, many successful unsupervised learning methods for temporal, sequential and spatial data extract features which are predictive of their surrounding context. Combining these approaches, we introduce Dynamical Components Analysis (DCA), a linear dimensionality reduction method which discovers a subspace of high-dimensional time series data with maximal predictive information, defined as the mutual information between the past and future. We test DCA on synthetic examples and demonstrate its superior ability to extract dynamical structure compared to commonly used linear methods. We also apply DCA to several real-world datasets, showing that the dimensions extracted by DCA are more useful than those extracted by other methods for predicting future states and decoding auxiliary variables. Overall, DCA robustly extracts dynamical structure in noisy, high-dimensional data while retaining the computational efficiency and geometric interpretability of linear dimensionality reduction methods.

연구 동기 및 목표

• 표준 선형 차원 축소 방법(예: PCA)이 시간 구조를 忽시하고 종종 의미 있는 역학적 구조 대신 노이즈를 추출하는 한계를 해결하기 위해.
• 고차원 시계열 데이터에서 저차원 역학적 구조를 효율적이고 기하학적으로 해석 가능한 방법으로 캡처할 수 있도록 계산 효율성과 기하학적 해석 가능성을 확보하기 위해.
• 예측 정보(과거와 미래 간 상호정보량)를 최대화함으로써 예측 특징 학습의 장점을 선형 차원 축소와 융합하기 위해.
• 예측 정보 최대화가 분산 기반 또는 느린 특징 기반 방법보다 더 강건하고 유용한 저차원 표현을 이끌어내는지 입증하기 위해.
• DCA를 합성 및 실제 데이터 세트에 적용하여 미래 상태 예측 및 보조 변수 복원 작업에서의 성능 향상을 입증하기 위해.

제안 방법

• DCA는 과거와 미래 시간 창 간 상호정보량으로 정의된 예측 정보를 최대화하는 최적화 문제로 차원 축소를 공식화한다.
• 미분 가능성과 추정의 실현 가능성을 확보하기 위해 DCA는 데이터 분포의 가우시안 근사를 사용하여, 닫힌 형태의 해를 통한 효율적 최적화를 가능하게 한다.
• 이 방법은 과거와 미래 간 예측 정보를 최대화하는 저차원 부분공간으로 고차원 시계열을 선형 변환하는 방식으로 작동한다.
• 최적화는 가우시안 근사에서 유도된 일반화된 고유값 문제로 해결되며, 이는 계산 효율성과 기하학적 해석 가능성을 유지한다.
• DCA는 학습 속도 향상과 시험 경계 간 유출 방지를 위해 먼저 시계열 데이터를 겹치지 않는 시험 단위로 분할하여 적용한다.
• 성능 평가는 미래 상태 예측 및 보조 변수 복원에 대해 보류된 R²를 사용하며, PCA, GPFA, 그리고 느린 특징 분석과의 비교를 포함한다.

실험 결과

연구 질문

• RQ1 과거와 미래 간 예측 정보에 초점을 맞춤으로써, 선형 차원 축소 방법이 고차원이고 노이즈가 많은 시계열 데이터에서 저차원 역학적 구조를 효과적으로 추출할 수 있는가?
• RQ2 DCA는 합성 및 실제 시계열 데이터에서 PCA 및 기타 선형 방법과 비교해 볼 때, 잠재적인 역학적 구조를 얼마나 잘 유지하고 드러내는가?
• RQ3 예측 정보 최대화가 미래 상태 예측 및 행동 또는 환경 변수 복원과 같은 후행 작업에서 얼마나 더 나은 성능을 이끌어내는가?
• RQ4 PCA와 같은 분산 기반 방법과 비교해 DCA는 노이즈 및 공간적으로 구조화된 노이즈에 대해 얼마나 강건한가?
• RQ5 DCA가 발견한 부분공간과 PCA 또는 GPFA가 찾은 부분공간 간의 기하학적 및 통계적 관계는 무엇인가? 특히 리지드 스코어와 성분 정렬 측면에서.

주요 결과

• 고차원 노이즈에 레온르드 애트랙터가 임베딩된 합성 데이터에서 DCA는 진정한 저차원 역학적 다양체를 성공적으로 복원하였고, 노이즈 분산이 지배적인 상황에서는 PCA가 실패하였다.
• M1 및 해마에서의 신경 데이터에서 DCA 요소는 특히 비인과적 추론(스무딩) 상황에서 미래 신경 상태 예측 및 행동 변수 복원에서 PCA를 능가하는 성능을 보였다.
• 다중 도시 기상 및 인간 운동학 데이터 세트에서 DCA는 예측 지연이 길어질수록 PCA 및 GPFA보다 더 높은 보류된 R² 성능을 기록하였다.
• DCA 성분은 특히 가속도계 데이터 세트에서 PCA 성분보다 더 매끄러운 시간 동적 특성을 보이며 고주파 수치 노이즈 억제가 뛰어나다는 것을 시사하였다.
• 리지드 스코어 분석 결과, DCA 부분공간은 PCA보다 원래 측정 축의 더 작은 집합에 집중되어 있음을 확인하여, 데이터의 더 선택적이고 구조화된 표현 방식임을 시사하였다.
• DCA와 PCA 성분 간 스피어만 순서 상관계수는 일부 데이터 세트에서는 높았고(예: 기온: 1.0, 0.93, 0.78), 다른 세트에서는 낮았다(예: 해마: 0.42, 0.15, 0.12), 이는 DCA가 PCA와 다른 더 역학적인 구조를 포착하고 있음을 나타낸다.