[論文レビュー] Tree-Structured Recurrent Switching Linear Dynamical Systems for Multi-Scale Modeling

Josue Nassar, Scott W. Linderman+2 more|arXiv (Cornell University)|Nov 29, 2018

Gaussian Processes and Bayesian Inference被引用数 35

ひとこと要約

本稿では、木構造的なスティック・ブレイキング過程を用いて局所線形動的システムを階層的に組織化することで、多スケール非線形ダイナミクスを捉える階層的ベイズモデルであるTree-Structured Recurrent Switching Linear Dynamical Systems (TrSLDS)を提案する。Pólya-Gammaデータ補完を用いた完全ベイズ推論により、予測精度と解釈可能性の両方を達成し、合成ローレンツおよびフィッツフーリュ・ナグル・システム、およびマカク霊長類の視覚皮質からの実際の神経データにおいて、既存のモデルを上回る性能を発揮する。

ABSTRACT

Many real-world systems studied are governed by complex, nonlinear dynamics. By modeling these dynamics, we can gain insight into how these systems work, make predictions about how they will behave, and develop strategies for controlling them. While there are many methods for modeling nonlinear dynamical systems, existing techniques face a trade off between offering interpretable descriptions and making accurate predictions. Here, we develop a class of models that aims to achieve both simultaneously, smoothly interpolating between simple descriptions and more complex, yet also more accurate models. Our probabilistic model achieves this multi-scale property through a hierarchy of locally linear dynamics that jointly approximate global nonlinear dynamics. We call it the tree-structured recurrent switching linear dynamical system. To fit this model, we present a fully-Bayesian sampling procedure using Polya-Gamma data augmentation to allow for fast and conjugate Gibbs sampling. Through a variety of synthetic and real examples, we show how these models outperform existing methods in both interpretability and predictive capability.

研究の動機と目的

• 複雑で非線形なダイナミクスを、複数の抽象化レベルで捉えつつ解釈可能性を維持する確率的モデルの開発。
• 非線形動的システムにおけるモデルの解釈可能性と予測精度のトレードオフの解消。
• スイッチング状態に対する木構造的事前分布を用いた、潜在的ダイナミクスの階層的・多スケールモデリングの実現。
• Pólya-Gamma補完を用いて、すべての潜在変数（状態、スイッチング状態、ダイナミクスパラメータ）に対して共役ギブスサンプリングを可能にする、効率的な完全ベイズ推論手順の設計。
• 合成データおよび実際の神経データにおいて、さまざまな解像度のレベルで意味のある解釈可能なダイナミクスを回復できるかどうかの妥当性の検証。

提案手法

• 多項分布の逐次的スティック・ブレイキングを一般化した木構造的スティック・ブレイキングプロセスを導入し、状態空間の階層的分割を可能にする。
• 親ノードと子ノードを結ぶ階層的事前分布を動的パラメータに導入し、木の各レベルでモデルの複雑さが滑らかに変化するようにする。
• Pólya-Gammaデータ補完を用いて、状態、スイッチング状態、動的パラメータを含むすべての潜在変数に対して共役ギブスサンプリングを実現する。
• 各ノードが局所線形動的システムを表す再帰的スイッチング線形動的システム（rSLDS）フレームワークを採用する。
• 潜在状態とモデルパラメータのギブスサンプリングによる事後分布推論を実施し、バーンイン後のサンプルの中で対数尤度が最大のモデルを最終的に選択する。
• 神経データの初期化には、平滑化されたスパイクトレインに対する確率的PCAを用い、その後TrSLDSフレームワーク内で完全ベイズ推論を実施する。

実験結果

リサーチクエスチョン

• RQ1 木構造的スイッチングダイナミクスを持つ階層モデルは、非線形動的システムにおける解釈可能性と予測性能の両方を向上させることができるか？
• RQ2 TrSLDSは、ローレンツアトラクタやフィッツフーリュ・ナグル発振子といったカオス的システムにおける多スケールダイナミクスをどれほど正確に回復できるか？
• RQ3 TrSLDSは、実際の神経データ（例：異なる視覚刺激に対する明確なリミットサイクル）から、意味的かつ生物学的に妥当なダイナミカル構造を同定できるか？
• RQ4 動的パラメータに対する階層的事前分布は、モデル解像度の各レベル間での滑らかで一貫性のある遷移を可能にするか？
• RQ5 Pólya-Gamma補完は、この高次元で複雑なモデルにおいて、効率的かつ共役なベイズ推論をどの程度可能にするか？

主な発見

• TrSLDSは、木の2番目のレベルで2つの2次元楕円体で近似し、その後子ノードでそれぞれを精緻化することで、ローレンツ系のバタフライ型アトラクタを的確に捉えた。
• R²値が木の深さに応じて増加する傾向を示し、葉ノードが最も高い精度の近似を達成した。
• マカクの一次視覚皮質からの神経データでは、TrSLDSが異なる刺激の向き（例：140/150° vs. 230/240°）に対応する神経応答を明確に別々の部分木に分離し、集団レベルでのダイナミクスの違いを明らかにした。
• 各部分木内の葉ノードは、データで観察された周期的神経応答と一致する、明確で安定したリミットサイクルを学習した。
• 階層的構造により、明確な多スケールの視覚が得られた：粗いレベルでは集団ダイナミクスが、より深いレベルでは刺激固有の周期的パターンが明らかになった。
• Pólya-Gamma補完を用いた完全ベイズ推論は、収束が速く、一貫性のある結果を生み出し、最終的な可視化および分析には対数尤度が最大のサンプルが使用された。