[論文レビュー] Mixed Membership Models for Time Series

Emily B. Fox, Michael I. Jordan|arXiv (Cornell University)|Sep 13, 2013

Bayesian Methods and Mixture Models参考文献 30被引用数 3

ひとこと要約

本稿は、時系列データのコレクションに対してベイジアン非パラメトリック混合-membershipモデルを導入し、各時系列を共有される動的レジーム（例：行動や状態）のライブラリへの部分的所属とみなす。2つのフレームワーク（ディリクレ-多項分布およびベータ・ベルヌーイ）を提案し、複数の時系列にわたる柔軟でスパースかつ共有された学習を可能にし、事前に状態数を指定せずに構造的変化やレジームの重複をモデル化する点で主な貢献を果たす。

ABSTRACT

In this article we discuss some of the consequences of the mixed membership perspective on time series analysis. In its most abstract form, a mixed membership model aims to associate an individual entity with some set of attributes based on a collection of observed data. Although much of the literature on mixed membership models considers the setting in which exchangeable collections of data are associated with each member of a set of entities, it is equally natural to consider problems in which an entire time series is viewed as an entity and the goal is to characterize the time series in terms of a set of underlying dynamic attributes or "dynamic regimes". Indeed, this perspective is already present in the classical hidden Markov model, where the dynamic regimes are referred to as "states", and the collection of states realized in a sample path of the underlying process can be viewed as a mixed membership characterization of the observed time series. Our goal here is to review some of the richer modeling possibilities for time series that are provided by recent developments in the mixed membership framework.

研究の動機と目的

• 時系列分析を混合-membershipモデルの観点から再定式化し、各時系列を共有される動的レジームの集合への部分的所属とみなす。
• 複数の時系列に重複する動的行動をモデル化する課題に取り組み、事前に状態数を指定しない。
• 階層的事前分布を介して時系列間での情報共有を可能にするように、従来の隠れマルコフモデルやスイッチング状態空間モデルを拡張する。
• 非パラメトリックフレームワークを構築し、無限に多くの動的レジームを許容し、モデル選択を必要とせずにデータの複雑さに適応する。
• ベータ・ベルヌーイ定式化により、レジームの存在とその頻度を分離し、スパースかつ解釈可能なメンバー構造をサポートする。

提案手法

• トピックモデリングにおけるディリクレ-多項分布フレームワークを時系列に適応し、時系列間で共有される遷移および発生パラメータのグローバル事前分布を用いる。
• ベータ・ベルヌーイフレームワークを提案し、各時系列がグローバルなレジームライブラリから事前に独立して部分集合を選択し、その後その状態系列を生成する。
• ベイジアン非パラメトリック事前分布（例：ディリクレ過程）を用い、無限に多くの潜在的動的レジームを許容し、実際の数はデータによって決定される。
• マーカフスイッチングプロセスをコアメカニズムとして用い、状態遷移が時系列固有の遷移分布に従う離散時間マーカフ過程に従う。
• Fearnhead (2006) よりも技術を応用し、多次元時系列の依存構造に変化点を効率的に探索する。
• 自己回帰モデルに時間変動する混合重みを統合し、非定常プロセスを許容する。成分選択にはディリクレ過程混合や、過去の観測に基づくカーネルベース重み付けを用いる。

実験結果

リサーチクエスチョン

• RQ1 混合-membershipモデルを時系列データにどのように適応させ、複数の時系列にまたがる部分的で共有され、かつ動的なレジーム所属を可能にするか？
• RQ2 非パラメトリックベイジアンフレームワークを用いることで、事前にレジーム数を指定しない場合、時系列の動的レジーム数をどのようにモデル化できるか？
• RQ3 ベータ・ベルヌーイフレームワークは、時系列メンバー構造におけるスパarsityを向上させるとともに、レジームの存在と頻度をどのように分離可能にするか？
• RQ4 遷移および発生パラメータに対する階層的事前分布は、複数の時系列間での情報共有をどのように可能にするか？
• RQ5 多次元時系列において、製品パーティションモデルと動的プログラミングを用いることで、変化点検出および構造的変化モデリングはどのように向上するか？

主な発見

• 提案された非パラメトリック混合-membershipモデルは、無限に多くの動的レジームを許容し、実際の数はデータから学習される。
• ベータ・ベルヌーイフレームワークにより、スパースな時系列メンバー構造が可能となり、各時系列がグローバルレジームライブラリの一部のみを用いる。これにより、解釈可能で効率的なモデリングが可能になる。
• ディリクレ-多項分布アプローチにより、グローバル事前分布を通じて遷移および発生パラメータをプールし、時系列間での情報共有が促進される。
• 実験的結果から、モデルは部分的重複を伴うルーチンでさえも、複数の個人にまたがる共有される動的行動（例：運動データにおける運動種別）を効果的に発見できる。
• 動的プログラミング技術の統合により、特に依存構造が時間とともに変化する場合に、多次元時系列における変化点検出が効率的に行える。
• 特に高次元またはスパースな状況下でも、古典的なHMMや固定状態モデルに比べ、重複する多様な動的レジームを捉える能力で優れている。