[論文レビュー] Joint Modeling of Multiple Related Time Series via the Beta Process

Emily B. Fox, Erik B. Sudderth+2 more|arXiv (Cornell University)|Nov 17, 2011

Time Series Analysis and Forecasting参考文献 40被引用数 19

ひとこと要約

本稿では、ベータ過程を用いたベイジアン非パラメトリックモデルを提案し、複数の関連する時系列を、共有される潜在的動的行動を発見することで、同時にモデル化する。インドのパスタチー（Indian buffet process）を用いた効率的な推論により、事前に行動の数を指定せずに、時系列間で共有される特徴を自動的に同定可能であり、合成データおよびモーショングラフデータにおいて優れた性能を示す。

ABSTRACT

We propose a Bayesian nonparametric approach to the problem of jointly modeling multiple related time series. Our approach is based on the discovery of a set of latent, shared dynamical behaviors. Using a beta process prior, the size of the set and the sharing pattern are both inferred from data. We develop efficient Markov chain Monte Carlo methods based on the Indian buffet process representation of the predictive distribution of the beta process, without relying on a truncated model. In particular, our approach uses the sum-product algorithm to efficiently compute Metropolis-Hastings acceptance probabilities, and explores new dynamical behaviors via birth and death proposals. We examine the benefits of our proposed feature-based model on several synthetic datasets, and also demonstrate promising results on unsupervised segmentation of visual motion capture data.

研究の動機と目的

• 標準的な線形モデルでは十分に捉えきれない複雑でスイッチングするダイナミクスを示す、関連する複数の時系列を共同でモデリングする課題に対処する。
• 事前に行動の数を定義せずに、複数の時系列間で共有される潜在的動的行動のライブラリを自動的に発見できるようにする。
• 無限大の潜在的行動を許容する非パラメトリック事前分布を用いて、時系列間での行動のスパarsity（スパarsity）と共有を促進する。
• 予測分布としてベータ過程のインドのパスタチー過程を用いることで、切断を回避するスケーラブルなMCMC推論手法を開発する。
• 合成データおよび実世界のビジュアルモーショングラフデータを用いて、人間の運動パターンの教師なしセグメンテーションの有効性を示す。

提案手法

• 各時系列が無限大の潜在的動的行動ライブラリの中から、ベータ過程事前分布を用いて部分集合を選択する特徴ベースのアプローチで複数の時系列をモデル化する。
• ベータ過程の予測分布としてインドのパスタチー過程（IBP）を用い、時系列の特徴割り当てを表現することで、切断なしの非パラメトリック推論を可能にする。
• 和積アルゴリズムを用いて効率的なMCMCサンプリングを実装し、特徴および状態の更新におけるメトロポリス・ハスティングスの受容確率を計算する。
• 特徴の数の変化をポアソン分布に基づく提案を用いて、動的に行われる新規行動の探索や既存行動の削除を実現する。
• 隠れ状態および動的パラメータに対してブロックギブスサンプリングを実施し、遷移行列および共分散パラメータの補助変数サンプリングを併用する。
• ベータ過程の確率測度を統合することで、無限次元の特徴空間を周辺化し、時系列間で共有されるパラメータを持つ、有限でデータ適応的なモデルを構築する。

実験結果

リサーチクエスチョン

• RQ1 事前に行動の数を定義せずに、複数の関連する時系列間で共有される潜在的動的行動を、ベイジアン非パラメトリックモデルがどのように同時に学習できるか。
• RQ2 ベータ過程は、時系列間で潜在的動的特徴のスパarsityと共有をどのように促進するか。
• RQ3 切断なしで無限次元の特徴空間に対して、効率的なMCMC推論をどのように実現できるか。
• RQ4 視覚的モーショングラフデータにおいて、共有される動的行動を用いて、ジャンプ・ジャック、トゥイスト、トゥイスト・トゥ・トゥーなど、異なる運動パターンを効果的に発見・セグメンテーションできるか。
• RQ5 合成データおよび実データにおいて、固定次元のモデルと比較して、本手法は特徴発見およびセグメンテーションの正確性において優れているか。

主な発見

• 合成データセットにおいて、本モデルは複数の時系列間で共有される動的行動を効果的に発見し、真の潜在的行動数の正確な回復に成功した。
• モーショングラフデータにおいて、ジャンプ・ジャック、トゥイスト、トゥイスト・トゥ・トゥーなどの運動種別を効果的に教師なしセグメンテーションし、実用的有用性を示した。
• インドのパスタチー過程の使用により、切断なしの効率的推論が可能となり、データからアクティブな行動数を適応的に同定できるようになった。
• 和積アルゴリズムは、特徴更新におけるメトロポリス・ハスティングス受容確率の計算効率を顕著に向上させた。
• 特徴の生成と消滅の移動は、モデル空間の探索に有効であり、特徴数にポアソン事前分布を用いることで探索の安定性が向上した。
• 特に行動レパートアの部分的重複がある状況において、固定次元モデルと比較して、共有および固有の行動をよりよく捉えることができた。