[논문 리뷰] Mixed Membership Models for Time Series

Emily B. Fox, Michael I. Jordan|arXiv (Cornell University)|2013. 09. 13.

Bayesian Methods and Mixture Models참고 문헌 30인용 수 3

한 줄 요약

이 논문은 시간 시리즈 컬렉션을 위한 베이지안 비모수 혼합 소속 모델을 제안하며, 각 시간 시리즈를 공유된 동적 제어 상태(예: 행동 또는 상태) 라이브러리에 부분적으로 소속된 실체로 간주한다. 두 가지 프레임워크—디리클레-다항분포 및 베타-베르누이—를 제안하여 다수의 시간 시리즈 간에 민감하고 희소하며 공유 가능한 학습을 가능하게 하며, 사전에 상태 수를 지정하지 않고도 구조적 변화와 제어 상태의 겹침을 모델링하는 데 핵심 기여를 한다.

ABSTRACT

In this article we discuss some of the consequences of the mixed membership perspective on time series analysis. In its most abstract form, a mixed membership model aims to associate an individual entity with some set of attributes based on a collection of observed data. Although much of the literature on mixed membership models considers the setting in which exchangeable collections of data are associated with each member of a set of entities, it is equally natural to consider problems in which an entire time series is viewed as an entity and the goal is to characterize the time series in terms of a set of underlying dynamic attributes or "dynamic regimes". Indeed, this perspective is already present in the classical hidden Markov model, where the dynamic regimes are referred to as "states", and the collection of states realized in a sample path of the underlying process can be viewed as a mixed membership characterization of the observed time series. Our goal here is to review some of the richer modeling possibilities for time series that are provided by recent developments in the mixed membership framework.

연구 동기 및 목표

• 시간 시리즈 분석을 혼합 소속 모델의 관점에서 재정의하여, 각 시간 시리즈를 공유된 동적 제어 상태 집합에 부분적으로 소속된 실체로 간주한다.
• 다수의 시간 시리즈에서 겹치는 동적 행동을 모델링하면서도 사전에 상태 수를 지정하지 않는 문제를 해결한다.
• 계층적 사전분포를 통해 시간 시리즈 간의 정보 공유를 가능하게 하여 전통적인 은닉 마르코프 모델과 스위칭 상태공간 모델을 확장한다.
• 무한대의 동적 제어 상태 수를 허용하는 비모수 프레임워크를 개발하여, 모델 선택 없이 데이터 복잡도에 적응한다.
• 베타-베르누이 공식을 통해 제어 상태 존재 여부와 존재 빈도를 분리함으로써 희소하고 해석 가능한 소속 구조를 지원한다.

제안 방법

• 주제 모델링에서 유래한 디리클레-다항분포 프레임워크를 시간 시리즈에 적용하여, 시간 시리즈 간에 공유되는 전이 및 방출 파라미터에 대한 글로벌 사전분포를 사용한다.
• 각 시간 시리즈가 글로벌 라이브러리에서 동적 제어 상태의 부분집합을 독립적으로 선택한 후 상태 시퀀스를 생성하는 베타-베르누이 프레임워크를 제안한다.
• 베이지안 비모수 사전분포(예: 디리클레 과정)를 사용하여 무한대의 잠재 동적 제어 상태를 허용하며, 실제 수는 데이터에 의해 결정된다.
• 시간 시리즈 전용 전이 분포를 가진 이산시간 마르코프 과정을 핵심 메커니즘으로 사용한다.
• Fearnhead(2006)에서 유래한 동적 프ogramming 기법을 활용하여 다변량 시간 시리즈의 의존성 구조에서 변화점 탐지를 효율적으로 탐색한다.
• 자기회귀 모델에 시간에 따라 변화하는 혼합 가중치를 통합하여 비 stationary 과정을 허용하며, 구성 요소는 디리클레 과정 혼합 또는 과거 관측치 기반 커널 기반 가중치에 의해 선택된다.

실험 결과

연구 질문

• RQ1 혼합 소속 모델을 시간 시리즈 데이터에 어떻게 적용하여 다수의 시간 시리즈 간에 부분적이고 공유되며 동적으로 변화하는 제어 상태 소속을 가능하게 할 수 있는가?
• RQ2 비모수 베이지안 프레임워크를 사용하여 동적 제어 상태 수를 사전에 지정하지 않고 시간 시리즈에 모델링할 경우의 영향은 무엇인가?
• RQ3 베타-베르누이 프레임워크는 시간 시리즈 소속의 희소성 향상과 제어 상태 존재 여부와 빈도의 분리에 어떻게 기여하는가?
• RQ4 전이 및 방출 파라미터에 대한 계층적 사전분포는 다수의 시간 시리즈 간의 정보 공유를 어떻게 가능하게 하는가?
• RQ5 제품 분할 모델과 동적 프로그래밍을 통해 다변량 시간 시리즈에서 변화점 탐지 및 구조적 붕괴 모델링은 어떻게 향상될 수 있는가?

주요 결과

• 제안된 비모수 혼합 소속 모델은 무한대의 동적 제어 상태 수를 허용하며, 실제 수는 사전 지정이 아닌 데이터에 의해 학습된다.
• 베타-베르누이 프레임워크는 각 시간 시리즈가 글로벌 제어 상태 라이브러리의 부분집합만 사용하는 희소한 시간 시리즈 소속을 가능하게 하여, 이해 가능하고 효율적인 모델링을 지원한다.
• 디리클레-다항분포 접근법은 글로벌 사전분포를 통해 전이 및 방출 파라미터를 풀링함으로써 시간 시리즈 간의 정보 공유를 촉진한다.
• 실험 결과로는 모델이 다수의 개인 간에 공유되는 동적 행동(예: 운동 데이터에서의 운동 유형)을 부분적 중첩이 있는 루틴에서도 효과적으로 발견할 수 있음을 보여준다.
• 동적 프로그래밍 기법의 통합은 시간에 따라 변화하는 의존성 구조를 가진 다변량 시간 시리즈에서 효율적인 변화점 탐지를 가능하게 한다.
• 특히 고차원적이거나 희소한 설정에서, 전통적인 HMM 및 고정 상태 모델보다 다수의 시간 시리즈 간에 겹치는 이질적인 동적 제어 상태를 더 잘 포착하는 것으로 나타났다.