[論文レビュー] Recurrent switching linear dynamical systems

Scott W. Linderman, Andrew C. Miller+4 more|arXiv (Cornell University)|Oct 26, 2016

Gaussian Processes and Bayesian Inference参考文献 14被引用数 43

ひとこと要約

本稿では、ロジスティック回帰を介して連続的潜在状態または外部入力を介して離散的状態遷移に依存させることを許容するベイジアンモデル、再帰的スイッチング線形動的システム（rSLDS）を導入する。この手法により、補助変数技術を用いた解釈可能でスケーラブルな推論が可能となり、合成データおよび実世界のバスケットボール選手の軌跡データにおける非線形ダイナミクスのモデリングが、標準的なSLDSよりも向上した。

ABSTRACT

Many natural systems, such as neurons firing in the brain or basketball teams traversing a court, give rise to time series data with complex, nonlinear dynamics. We can gain insight into these systems by decomposing the data into segments that are each explained by simpler dynamic units. Building on switching linear dynamical systems (SLDS), we present a new model class that not only discovers these dynamical units, but also explains how their switching behavior depends on observations or continuous latent states. These "recurrent" switching linear dynamical systems provide further insight by discovering the conditions under which each unit is deployed, something that traditional SLDS models fail to do. We leverage recent algorithmic advances in approximate inference to make Bayesian inference in these models easy, fast, and scalable.

研究の動機と目的

• 複雑で非線形な時系列データを、解釈可能なスイッチング行動を示す単純な動的モードに分解してモデリングすること。
• 従来のスイッチング線形動的システム（SLDS）を拡張し、離散的状態遷移が連続的潜在状態または外部入力に依存するようにすること。
• 補助変数法を用いて、このようなモデルにおける高速でスケーラブルでモジュラーなベイジアン推論を可能にすること。
• 欠損データと複数の観測モダリティをサポートする生成的で解釈可能で階層的なフレームワークを提供すること。
• 合成のローレンツアトラクタデータと実際のNBA選手の軌跡データにおけるモデルの有効性を実証すること。

提案手法

• 連続的潜在状態または外部入力のロジスティック回帰に基づく離散的状態遷移を制御する再帰的スイッチング状態空間モデルを提案する。
• 連続的ダイナミクスと観測値に対して条件付き線形ガウス構造を用い、効率的な推論を保証するための共役性を維持する。
• ポルソンら（2013）、リンダーマンら（2015）などの補助変数法を用いて、高速でスケーラブルなベイジアン推論を実現する。
• 完全なベイジアン学習を可能にするために、遷移行列にはディリクレ事前分布、システムパラメータには行列ノーマル逆ウィシャート分布を用いる。
• 大規模な時系列データと欠損値を扱うために、ギブスサンプリングと変分推論技術を適用する。
• 複数のエージェントに共通する状態を有する「再帰専用」AR-HMMの変種を導入し、選手の軌跡をモデリングする。

実験結果

リサーチクエスチョン

• RQ1 計算的実行可能性を保ちつつ、動的システムにおける離散的状態遷移を連続的潜在状態または環境要因に依存させることは可能か？
• RQ2 線形ガウス構造を損なわず、状態依存のスイッチングダイナミクスを有するモデルにおいて、ベイジアン推論を効率的に行う方法は何か？
• RQ3 rSLDSは、標準的なSLDSと比較して、ローレンツアトラクタのような複雑な非線形ダイナミクスをどの程度正確に捉えることができるか？
• RQ4 rSLDSは、NBAバスケットボール選手のような現実世界のマルチエージェントシステムにおいて、解釈可能な行動モードをどの程度効果的に発見できるか？
• RQ5 モデルは複数のエージェントに一般化可能で、欠損観測値を有する異種データを適切に処理できるか？

主な発見

• rSLDSモデルは、ローレンツアトラクタの非線形ダイナミクスを効果的に捉えており、状態遷移が真のシステムの挙動に密接に従っている。これに対して、標準的なSLDSは状態に依存せずにスイッチングを行うため、その挙動は不正確であった。
• バスケットボールの軌跡データにおいて、rSLDSはドライブ、ボックスラインに沿ったカット、コーナーショットといった明確な選手行動に対応する30の解釈可能な状態を同定した。
• 選手固有の状態使用パターンは、実際の行動的特徴と一致しており、例えばレイ・アレンは左コーナーショット状態を頻繁に使用していたことから、モデルの解釈可能性が妥当であることが裏付けられた。
• データ再構築の観点で、rSLDSは標準的なSLDSを上回る性能を示し、rSLDSの軌跡は原点に近く、現実的なスイッチング挙動を示していた。
• ギブスサンプリングは200イテレーションで安定して収束し、5人の選手にわたる256,103ステップの大型時系列データセットに対してもスケーラブルな推論が可能になった。
• 補助変数の使用により、高速でモジュラーなベイジアン推論が実現され、階層モデルやマルチモーダル観測への拡張を支援した。