[논문 리뷰] Toeplitz Inverse Covariance-Based Clustering of Multivariate Time Series Data

David Hallac, Sagar Vare외 2명|arXiv (Cornell University)|2017. 06. 10.

Time Series Analysis and Forecasting참고 문헌 42인용 수 19

한 줄 요약

이 논문은 다변량 시계열을 동시에 분할하고 군집화하는 모델 기반 방법인 토플리츠 역공분산행렬 기반 군집화(TICC)를 제안한다. TICC는 각 군집 내 센서 간 의존성을 나타내는 희박한 마르코프 무역장(MRF)을 학습함으로써 시간적 분할과 군집화를 동시에 수행한다. TICC는 동적 프로그래밍을 사용해 시간적 분할을 하고, ADMM를 사용해 토플리츠 구조를 가진 역공분산행렬을 추정하여 해석 가능하고 구조 인식 군집화를 가능하게 한다. 이는 합성 및 실생활 자동차 센서 데이터에서 거리 기반 기준보다 뛰어난 성능을 보였다.

ABSTRACT

Subsequence clustering of multivariate time series is a useful tool for discovering repeated patterns in temporal data. Once these patterns have been discovered, seemingly complicated datasets can be interpreted as a temporal sequence of only a small number of states, or clusters. For example, raw sensor data from a fitness-tracking application can be expressed as a timeline of a select few actions (i.e., walking, sitting, running). However, discovering these patterns is challenging because it requires simultaneous segmentation and clustering of the time series. Furthermore, interpreting the resulting clusters is difficult, especially when the data is high-dimensional. Here we propose a new method of model-based clustering, which we call Toeplitz Inverse Covariance-based Clustering (TICC). Each cluster in the TICC method is defined by a correlation network, or Markov random field (MRF), characterizing the interdependencies between different observations in a typical subsequence of that cluster. Based on this graphical representation, TICC simultaneously segments and clusters the time series data. We solve the TICC problem through alternating minimization, using a variation of the expectation maximization (EM) algorithm. We derive closed-form solutions to efficiently solve the two resulting subproblems in a scalable way, through dynamic programming and the alternating direction method of multipliers (ADMM), respectively. We validate our approach by comparing TICC to several state-of-the-art baselines in a series of synthetic experiments, and we then demonstrate on an automobile sensor dataset how TICC can be used to learn interpretable clusters in real-world scenarios.

연구 동기 및 목표

• 고차원의 다변량 시계열을 해석 가능하고 반복적인 상태로 동시에 분할하고 군집화하는 데 도전하는 데 목적이 있다.
• 거리 기반 군집화를 넘어서 마르코프 무역장(MRF)을 통해 조건부 의존성을 모델링하여 해석 가능성을 향상시키는 데 목적이 있다.
• 시간에 불변하는 상관관계 구조를 하위시계열 내에서 포착하는 확장 가능한 모델 기반 군집화 프레임워크를 개발하는 데 목적이 있다.
• 자동차 데이터셋과 같은 실생활 센서 데이터에서 의미 있는 실제 행동 패턴(예: 주행 동작)을 발견하는 데 목적이 있다.
• 원시 값 정렬이 아닌 구조적 유사성 기반으로 군집화함으로써 방향성 또는 대칭성 변화(예: 좌회전 vs. 우회전)에 대해 강건한 방법을 제공하는 데 목적이 있다.

제안 방법

• TICC는 고정된 크기의 슬라이딩 윈도우에 정의된 다층 마르코프 무역장(MRF)으로 각 군집을 모델링하여 시간에 불변하는 부분상관관계 구조를 캡처한다.
• MRF는 희박한 역공분산행렬(정밀도 행렬)로 표현되며, 0 요소는 센서 쌍 간의 조건부 독립성을 나타낸다.
• 알고리즘은 두 단계를 번갈아 수행한다: (1) 시간적 일관성을 확보하기 위해 동적 프로그래밍을 사용해 시간 포인트를 군집에 할당하고, (2) ADMM를 통해 각 군집 전용 MRF를 업데이트하여 희박한 역공분산행렬 추정 문제를 해결한다.
• 역공분산행렬은 정(stationarity)을 강제하고 파rameter 수를 줄이기 위해 토플리츠 구조로 제약을 둔다. 이는 확장성과 해석 가능성 향상에 기여한다.
• EM 알고리즘에 영감을 받은 교차 최소화 프레임워크를 사용하며, 두 하위문제 모두에 대해 닫힌 형태의 업데이트를 제공한다.
• 군집화 목적함수는 데이터 적합도와 구조 정규화를 모두 포함하여 일관된 MRF를 가진 세그먼트를 촉진한다.

실험 결과

연구 질문

• RQ1 다변량 시계열에서 의존성 네트워크(MRF)를 학습하는 모델 기반 군집화 접근법이 거리 기반 방법에 비해 해석 가능성에서 향상되는가?
• RQ2 시간적 일관성과 구조 패턴을 유지하면서 동시에 분할과 군집화를 어떻게 달성할 수 있는가?
• RQ3 TICC는 고차원 센서 데이터에서 의미 있는 실제 행동 상태(예: 주행 동작)를 어느 정도 발견할 수 있는가?
• RQ4 원시 신호 정렬이 아닌 구조적 유사성(부분상관관계) 기반 군집화가 대칭 상황(예: 좌회전 vs. 우회전)에서 더 나은 성능을 보이는가?
• RQ5 유도된 MRF는 센서 중요도 지표(예: 중간성 중심성)를 통해 군집 의미를 이해하는 데 사용될 수 있는가?

주요 결과

• TICC는 자동차 센서 데이터셋에서 다섯 가지 구분되는 주행 상태를 성공적으로 식별했다: 감속, 회전, 가속, 직진 주행, 난곡로 주행.
• 메서드는 높은 해석 가능성을 보였으며, 센서 중간성 중심성 점수는 군집 의미를 명확히 구분했다. 예를 들어, Y-가속도가 군집 #2와 #5에서 가장 중요했다.
• 브레이크 페달과 속도 중심성이 높은 군집 #1은 일관되게 감속 상태로 할당되었고, 속도와 가속 페달 중심성이 높은 군집 #4는 직선 주행 중 순항 상태에 해당했다.
• TICC는 좌회전과 우회전을 동일한 군집으로 묶었는데, 이는 센서 의존성의 구조적 유사성 때문이었으며, 거리 기반 방법은 이를 별개의 군집으로 간주할 것이다.
• 알고리즘이 대칭 변화에 대해 강건함을 입증하였으며, 동일한 주행 세션 내 좌우회전에 대해 일관된 군집 할당을 보였다.
• 합성 데이터에서 TICC는 최신 기준 기준보다 군집 정확도와 구조 복원 성능에서 뛰어난 성능을 보였으며, 진정한 기저 패턴을 회복하는 데의 효과성을 검증했다.