[論文レビュー] Granger Causality Networks for Categorical Time Series

Alex Tank, Emily B. Fox+1 more|arXiv (Cornell University)|Jun 8, 2017

Time Series Analysis and Forecasting参考文献 16被引用数 11

ひとこと要約

本稿は、多次元カテゴリカル時系列におけるGranger因果ネットワークの学習を目的としたMixture Transition Distribution（MTD）モデルの凸型再定式化を提案する。従来の非凸性および同定可能性の問題を克服し、Dykstraスタイルの射影を用いた投影勾配法により、効率的かつ高次元での推定を可能にした。mLTD（multinomial logistic transition distribution）に比べ、解釈可能性とスパarsityを向上させつつ、モデルの不適合状況下でも優れた性能を維持した。

ABSTRACT

We present a new framework for learning Granger causality networks for multivariate categorical time series, based on the mixture transition distribution (MTD) model. Traditionally, MTD is plagued by a nonconvex objective, non-identifiability, and presence of many local optima. To circumvent these problems, we recast inference in the MTD as a convex problem. The new formulation facilitates the application of MTD to high-dimensional multivariate time series. As a baseline, we also formulate a multi-output logistic autoregressive model (mLTD), which while a straightforward extension of autoregressive Bernoulli generalized linear models, has not been previously applied to the analysis of multivariate categorial time series. We develop novel identifiability conditions of the MTD model and compare them to those for mLTD. We further devise novel and efficient optimization algorithm for the MTD based on the new convex formulation, and compare the MTD and mLTD in both simulated and real data experiments. Our approach simultaneously provides a comparison of methods for network inference in categorical time series and opens the door to modern, regularized inference with the MTD model.

研究の動機と目的

• 多次元カテゴリカル時系列におけるMixture Transition Distribution（MTD）モデルの長年の計算的および同定可能性の課題を解決すること。
• MTDの正則化および高次元推論を可能にする凸最適化フレームワークの構築。
• MTDの新たな同定可能性条件を確立し、multinomial logistic transition distribution（mLTD）のそれと比較すること。
• カテゴリカル時系列のネットワーク推論における従来のモデルの代替として、計算的に効率的かつ解釈可能な代替手法を提供すること。
• 新たな再パラメータライゼーションと最適化戦略を用いて、MTDの現代的で高次元のデータセットへのスケーラブルな応用を可能にすること。

提案手法

• 非凸制約を凸制約に変換する新しい再パラメータライゼーションを用いて、MTDモデルを凸最適化問題に再定式化する。
• スパースなGranger因果ネットワークを促進するスパarsity誘導型ペナルティを導入した罰則付き尤度フレームワークを提案する。
• MTDモデルの凸制約集合への効率的射影を実現するため、Dykstraの分割法を用いた投影勾配アルゴリズムを開発する。
• 非凸かつ満たしがたい条件に代えて、凸ペナルティを用いて同定可能性制約を強制する。
• MTDアプローチと、多出力ロジスティック遷移分布（mLTD）を新たなベースラインとして比較する。mLTDは、一般化線形モデル（GLM）を多項分布出力に拡張したものである。
• シミュレーションデータおよび実世界のデータセット（Bachのコーラル調性など）にMTDおよびmLTDモデルを適用し、性能と解釈可能性を評価する。

実験結果

リサーチクエスチョン

• RQ1 非凸なMTDモデルは、スケーラブルで高次元の推論を可能にする凸最適化問題に再定式化可能か？
• RQ2 MTDモデルの新たな同定可能性条件は何か？ それらはmLTDモデルのそれと比べてどう異なるか？
• RQ3 スパarsity、解釈可能性、およびモデル不適合状況下での頑健性という観点から、凸型MTDフレームワークはmLTDモデルに比べてどのように性能を発揮するか？
• RQ4 Dykstra法を用いた提案された投影勾配アルゴリズムは、高次元のカテゴリカル時系列データを効率的に処理できるか？
• RQ5 MTDモデルは、真のデータ生成過程が不適合である場合でも、多次元カテゴリカル時系列における真の因果構造をどの程度回復できるか？

主な発見

• 提案された凸型MTD定式化により、非凸最適化と局所最適解の課題を克服し、高次元の多次元カテゴリカル時系列における効率的かつスケーラブルな推論が可能になった。
• MTDの新たな同定可能性条件が導出され、凸ペナルティを用いて強制可能であることが示され、モデルの一貫性が保証された。
• Dykstraの分割法を用いた投影勾配アルゴリズムは、MTD制約集合への高速かつ正確な射影を実現し、大規模応用を可能にした。
• Bachのコーラルデータの実データ解析では、MTDモデルが調性の音とコードの間の強い結合を持つスパースで解釈可能なネットワークを回復し、音楽理論と整合的であった。
• mLTDに比べ、MTDモデルはよりスパースで解釈可能なネットワークを生成した。mLTDはソフトマックス関数の非線形性のため、直感的でないリンク強度指標に悩まされた。
• シミュレーションおよび実データの結果から、MTDおよびmLTDの両モデルはモデル不適合状況下でも良好に性能を発揮したが、MTDは解釈可能性と構造回復の面で優れた性能を示した。