[논문 리뷰] An Algorithm for Pattern Discovery in Time Series

Cosma Rohilla Shalizi, Kristina Lisa Shalizi외 1명|ArXiv.org|2002. 10. 29.

Algorithms and Data Compression참고 문헌 43인용 수 85

한 줄 요약

이 논문은 시간 시리즈에서 통계적으로 최적이고 최소한의 은닉 마르코프 모델을 추론하기 위해 데이터에서 직접 원인 상태를 추론하는 새로운 방법인 인과 상태 분할 재구성(CSSR) 알고리즘을 소개한다. 기존의 HMM과 달리 CSSR은 원인 아키텍처를 데이터로부터 완전히 새로 구축하여 예측 최적성과 渐近적 신뢰성을 확보하고, 선형 시간 복잡도를 가지므로 순차적 데이터에서 내재된 예측 패턴을 식별하는 데 이상적이다.

ABSTRACT

We present a new algorithm for discovering patterns in time series and other sequential data. We exhibit a reliable procedure for building the minimal set of hidden, Markovian states that is statistically capable of producing the behavior exhibited in the data -- the underlying process's causal states. Unlike conventional methods for fitting hidden Markov models (HMMs) to data, our algorithm makes no assumptions about the process's causal architecture (the number of hidden states and their transition structure), but rather infers it from the data. It starts with assumptions of minimal structure and introduces complexity only when the data demand it. Moreover, the causal states it infers have important predictive optimality properties that conventional HMM states lack. We introduce the algorithm, review the theory behind it, prove its asymptotic reliability, use large deviation theory to estimate its rate of convergence, and compare it to other algorithms which also construct HMMs from data. We also illustrate its behavior on an example process, and report selected numerical results from an implementation.

연구 동기 및 목표

• 사전에 정의된 모델 구조를 가정하지 않고 시간 시리즈에서 의미 있고 예측 가능한 패턴을 발견할 수 있는 방법을 개발하는 것.
• 관측된 데이터를 통계적으로 재현할 수 있는 최소한의 은닉 마르코프 상태(원인 상태) 집합을 추론하는 것.
• 유추된 모델이 표준 통계적 가정 하에 예측 최적성과 渐近적 신뢰성을 확보하도록 보장하는 것.
• 과적합을 방지하고 데이터 요구에 자동으로 적응하는 실용적인 알고리즘을 제공하는 것.

제안 방법

• CSSR는 통계적으로 구별 불가능한 미래 분포를 가진 역사를 그룹화하기 위해 하향식으로 반복적으로 분할하는 절차를 사용한다.
• 카이제곱 또는 콜모고로프-스미르노프 검정과 같은 통계적 가설 검정을 적용하여 두 역사를 예측 분포 기반으로 병합할 수 있는지 평가한다.
• 알고리즘은 역사들의 거친 분할에서 시작하여 통계적 증거가 요구할 경우에만 그룹을 분할함으로써 최소한의 모델 복잡도를 보장한다.
• 대규모 편차 이론을 활용하여 수렴 속도를 제한하고 渐近적 정확성을 보장한다.
• 데이터에서 에psilon-기계(최소한의 통계적으로 충분한 모델)를 구성하여 과정의 원인 아키텍처를 표현한다.
• 알고리즘은 데이터 크기와 선형 시간 복잡도로 작동하므로 대규모 순차적 데이터 세트에 대해 확장 가능하다.

실험 결과

연구 질문

• RQ1 기본 과정의 구조에 대한 사전 가정 없이 시간 시리즈 데이터에서 최소한의 원인 상태 집합을 신뢰성 있게 추론할 수 있는 방법은 무엇인가?
• RQ2 두 역사를 같은 원인 상태에 포함시을지 결정하는 데 사용할 수 있는 통계 기준은 무엇인가?
• RQ3 CSSR 알고리즘이 패턴 탐지에서 渐近적 정확성을 확보하고 과적합을 방지하는 방식은 무엇인가?
• RQ4 알고리즘의 수렴 속도는 무엇이며, 대규모 편차 이론을 통해 어떻게 제한할 수 있는가?
• RQ5 기존의 HMM 피팅 및 컨텍스트 트리 알고리즘과 비교할 때 CSSR의 성능과 신뢰성은 어떻게 되는가?

주요 결과

• CSSR는 渐近적으로 신뢰할 수 있다: 표준 조건 하에서 잘못된 원인 아키텍처를 유일하게 유한 번 반환한다.
• 알고리즘은 데이터 크기와 선형 시간 복잡도를 가지며, 대규모 시간 시리즈에 대해 계산적으로 효율적이다.
• CSSR는 예측 최적 모델을 생성하며, 원인 상태는 예측에 통계적으로 충분하다.
• 이전의 원인 상태 병합 알고리즘과 컨텍스트 트리 방법보다 일관되게 진정한 기저 구조를 식별하는 데 뛰어난 성능을 보인다.
• 대규모 편차 이론을 사용하여 수렴 속도가 제한되며, 알고리즘 성능에 이론적 신뢰를 제공한다.
• 적절한 보간을 통해 연속형 변수 과정으로 확장할 수는 있으나, 이는 아직 미해결 과제로 남아 있다.