[論文レビュー] Bayesian Structure Learning for Stationary Time Series

Alex Tank, Nicholas J. Foti+1 more|arXiv (Cornell University)|May 12, 2015

Bayesian Modeling and Causal Inference参考文献 27被引用数 11

ひとこと要約

本稿では、逆スペクトル密度行列のゼロを介して条件付き独立性をモデル化することで、定常時系列のためのベイジアン構造学習フレームワークを提案する。共役超複素逆ワイルストロム・プライアを導入し、ホッブル尤度近似を活用することで、スペクトル行列の解析的マージナライゼーションが可能となり、閉形式のマージナライズ尤度が得られる。これにより、確率的探索による効率的なグラフ推論が可能になる。実データとして株価リターンと神経画像データに応用された。

ABSTRACT

While much work has explored probabilistic graphical models for independent data, less attention has been paid to time series. The goal in this setting is to determine conditional independence relations between entire time series, which for stationary series, are encoded by zeros in the inverse spectral density matrix. We take a Bayesian approach to structure learning, placing priors on (i) the graph structure and (ii) spectral matrices given the graph. We leverage a Whittle likelihood approximation and define a conjugate prior---the hyper complex inverse Wishart---on the complex-valued and graph-constrained spectral matrices. Due to conjugacy, we can analytically marginalize the spectral matrices and obtain a closed-form marginal likelihood of the time series given a graph. Importantly, our analytic marginal likelihood allows us to avoid inference of the complex spectral matrices themselves and places us back into the framework of standard (Bayesian) structure learning. In particular, combining this marginal likelihood with our graph prior leads to efficient inference of the time series graph itself, which we base on a stochastic search procedure, though any standard approach can be straightforwardly modified to our time series case. We demonstrate our methods on analyzing stock data and neuroimaging data of brain activity during various auditory tasks.

研究の動機と目的

• 条件付き独立性をスペクトル制約としてモデル化することで、独立データからのベイジアン構造学習を定常時系列に拡張すること。
• 時系列グラフィカルモデルにおける高次元かつ複素数値のスペクトル行列の課題に対処すること。
• グラフ制約を満たし、解析的マージナライゼーションを可能にする共役事前分布「超複素逆ワイルストロム分布」の開発。
• スペクトル行列の後方分布推論を避けるために、閉形式のマージナライズ尤度を導出することで、効率的な構造学習を実現すること。
• 実世界の時系列データ（株価リターンおよび聴覚タスク中の脳活動）に応用することで、手法の有効性を実証すること。

提案手法

• 定常時系列の尤度を簡略化するためにホッブル尤度近似を用い、計算を効率化する。
• グラフ構造によって制約された複素数値のスペクトル行列上に、共役事前分布として「超複素逆ワイルストロム分布」を導入する。
• グラフを条件としてスペクトル行列を解析的に積分することで、閉形式のマージナライズ尤度を導出する。
• 解析的に計算されたマージナライズ尤度に従って、確率的探索手順を用いて可能なグラフ構造の空間を探索する。
• マージナライズ尤度によるグラフスコアリングに還元することで、標準的なベイジアン構造学習手法と互換性を保つ。
• 条件付き独立関係を逆スぺクトル密度行列のゼロとして表現することで、多変量時系列にフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 条件付き独立性がスペクトルドメインに符号化される定常時系列において、ベイジアン構造学習をどのように拡張できるか。
• RQ2 解析的マージナライゼーションを可能にするために、グラフ制約を満たす複素数値スペクトル行列上に定義可能な共役事前分布は何か。
• RQ3 与えられたグラフに対して、スペクトル行列の後方分布推論を避けるために閉形式のマージナライズ尤度を導出できるか。
• RQ4 本手法は、時系列グラフ探索において、従来の手法と比較して計算効率および精度の点で優れているか。
• RQ5 株価リターンや聴覚タスク中の脳活動といった実世界データに適用することで、どのような知見が得られるか。

主な発見

• 共役性のおかげで、スペクトル行列に対するMCMCや変分推論の必要がなく、解析的マージナライズ尤度の計算が可能になった。
• 超複素逆ワイルストロム事前分布により、スペクトル行列が正定値を保ち、グラフに符号化された条件付き独立構造を尊重する。
• 閉形式のマージナライズ尤度により、グラフ構造の確率的探索が効率的に行えるようになり、完全な後方分布推論と比較して計算コストを大幅に削減した。
• 多変量株価リターンデータにおいて、意味のある条件付き独立構造を特定し、隠れた依存関係を明らかにした。
• 神経画像データでは、聴覚処理タスク中の既知の機能的脳ネットワークを反映する時系列グラフを同定した。
• グラフ事前分布とスペクトル制約を再定義することで、任意の定常多変量時系列に一般化可能である。