[논문 리뷰] Joint Modeling of Multiple Related Time Series via the Beta Process

Emily B. Fox, Erik B. Sudderth외 2명|arXiv (Cornell University)|2011. 11. 17.

Time Series Analysis and Forecasting참고 문헌 40인용 수 19

한 줄 요약

이 논문은 베타 과정을 사용하여 다중 관련 시계열을 함께 모델링하기 위해 공유된 잠재 역학적 행동을 발견하는 베이지안 비모수 모델을 제안한다. 인도 빵가게 과정을 활용한 효율적 추론을 통해 사전에 행동 수를 정하지 않고도 시계열 간 공유 기능을 자동으로 발견할 수 있으며, 시뮬레이션 데이터와 운동 캡처 데이터에서 뛰어난 성능을 보인다.

ABSTRACT

We propose a Bayesian nonparametric approach to the problem of jointly modeling multiple related time series. Our approach is based on the discovery of a set of latent, shared dynamical behaviors. Using a beta process prior, the size of the set and the sharing pattern are both inferred from data. We develop efficient Markov chain Monte Carlo methods based on the Indian buffet process representation of the predictive distribution of the beta process, without relying on a truncated model. In particular, our approach uses the sum-product algorithm to efficiently compute Metropolis-Hastings acceptance probabilities, and explores new dynamical behaviors via birth and death proposals. We examine the benefits of our proposed feature-based model on several synthetic datasets, and also demonstrate promising results on unsupervised segmentation of visual motion capture data.

연구 동기 및 목표

• 표준 선형 모델이 잘 포괄하지 못하는 복잡하고 스위칭하는 동역학을 가진 다수의 관련 시계열을 공동으로 모델링하는 데 도전한다.
• 사전에 행동 수를 정의하지 않고도 다수의 시계열 간에 공유되는 잠재 역학적 행동의 라이브러리를 자동으로 탐지한다.
• 무한한 잠재 행동 가능성을 允허하는 비모수 사전 분포를 통해 시계열 간 행동의 희박성과 공유를 장려한다.
• 베타 과정의 예측 분포인 인도 빵가게 과정을 통해 무한 차원의 기능 공간에서 잘리지 않은 추론을 가능하게 하는 확장 가능한 MCMC 추론 방법을 개발한다.
• 비모수 모델의 효과성을 시뮬레이션 데이터와 실제 시각적 운동 캡처 데이터에서 인간 운동 패턴의 비지도 분할에 대해 입증한다.

제안 방법

• 각 시계열이 무한한 잠재 역학적 행동 라이브러리에서 베타 과정 사전을 통해 부분집합을 선택하는 기능 기반 접근법으로 다중 시계열을 모델링한다.
• 베타 과정의 예측 분포로 인도 빵가게 과정(IBP)을 사용하여 시계열의 기능 할당을 표현함으로써, 잘리지 않은 비모수 추론을 가능하게 한다.
• 합-곱 알고리즘을 사용하여 기능 및 상태 갱신을 위한 메트로폴리스-하스팅스 수용 확률을 효율적으로 계산하는 MCMC 샘플링을 구현한다.
• 기능 수의 변화를 위한 포isson 분포 기반 제안을 사용하여 공유 라이브러리 내에서 새로운 행동을 탐색하거나 기존 행동을 제거하는 데 사용되는 생애 및 사망 제안을 도입한다.
• 블록 기반 깁스 샘플링을 통해 은닉 상태와 동적 매개변수를 추정하며, 전이 행렬과 공분산 매개변수에 대한 보조 변수 샘플링을 수행한다.
• 베타 과정 랜덤 측도를 통합하여 무한 차원의 기능 공간을 근거로 하여 유한하고 데이터 적응형 모델을 만들며, 시계열 간 공통 매개변수를 유지한다.

실험 결과

연구 질문

• RQ1 사전에 행동 수를 정하지 않고도 다수의 관련 시계열 간에 공유된 역학적 행동을 공동으로 학습할 수 있는 베이지안 비모수 모델은 어떻게 설계할 수 있는가?
• RQ2 베타 과정은 다수의 시계열 간에 잠재 역학적 기능의 희박성과 공유를 어떻게 유도하는가?
• RQ3 잘리지 않은 무한 차원 기능 공간에서 효율적인 MCMC 추론은 어떻게 수행할 수 있는가?
• RQ4 모델은 공유된 역학적 행동을 사용하여 시각적 운동 캡처 데이터에서 명확한 운동 패턴을 효과적으로 탐지하고 분할할 수 있는가?
• RQ5 시뮬레이션 데이터와 실제 데이터에서, 이론적 모델에 비해 기능 탐지 및 분할 정확도 측면에서 제안된 방법은 어떻게 비교되는가?

주요 결과

• 모델은 시뮬레이션 데이터셋에서 다수의 시계열 간에 공유된 역학적 행동을 성공적으로 탐지하였으며, 실제 행동 수의 정확한 복원을 보였다.
• 운동 캡처 데이터에서 모델은 점프 스quats, 발끝 만지기, 트와이스트와 같은 운동 유형의 효과적인 비지도 분할을 달성하여 실용적 유용성을 입증하였다.
• 인도 빵가게 과정의 사용은 잘리지 않은 추론을 가능하게 하여 모델이 데이터에서 활성 행동 수를 적응적으로 결정할 수 있도록 했다.
• 합-곱 알고리즘이 기능 갱신을 위한 메트로폴리스-하스팅스 수용 비율 계산에서 계산 효율성을 크게 향상시켰다.
• 기능에 대한 생애 및 사망 이동은 모델 공간 탐색에 효과적이었으며, 기능 수에 대한 포isson 사전 분포가 탐색의 안정성에 기여했다.
• 특히 행동 레퍼토리가 부분적으로 겹치는 상황에서, 고정된 차원 모델에 비해 공유 및 고유 행동을 더 잘 포착하는 데 성공했다.