[論文レビュー] Neural Granger Causality for Nonlinear Time Series

Alex Tank, Ian Covert+3 more|arXiv (Cornell University)|Feb 16, 2018

Neural Networks and Applications参考文献 62被引用数 69

ひとこと要約

本稿では、構造的マルチレイヤーパーセプトロン（MLP）と再帰的ニューラルネットワーク（RNN）を用いた非線形グレーバー因果関係フレームワークを提案する。グループリasso正則化を導入することで、因果接続のスパarsityを強制し、長距離依存性を効果的に捉える。DREAM3非線形遺伝子調節データセットにおいて、最先端の手法を上回る性能を示し、限られた時系列点数でも優れた性能を発揮する。

ABSTRACT

While most classical approaches to Granger causality detection assume linear dynamics, many interactions in applied domains, like neuroscience and genomics, are inherently nonlinear. In these cases, using linear models may lead to inconsistent estimation of Granger causal interactions. We propose a class of nonlinear methods by applying structured multilayer perceptrons (MLPs) or recurrent neural networks (RNNs) combined with sparsity-inducing penalties on the weights. By encouraging specific sets of weights to be zero---in particular through the use of convex group-lasso penalties---we can extract the Granger causal structure. To further contrast with traditional approaches, our framework naturally enables us to efficiently capture long-range dependencies between series either via our RNNs or through an automatic lag selection in the MLP. We show that our neural Granger causality methods outperform state-of-the-art nonlinear Granger causality methods on the DREAM3 challenge data. This data consists of nonlinear gene expression and regulation time courses with only a limited number of time points. The successes we show in this challenging dataset provide a powerful example of how deep learning can be useful in cases that go beyond prediction on large datasets. We likewise demonstrate our methods in detecting nonlinear interactions in a human motion capture dataset.

研究の動機と目的

• 神経科学やゲノム分野で一般的な本質的な非線形相互作用をモデル化する古典的線形グレーバー因果関係の限界を克服すること。
• 非線形依存関係および長距離時系列ダイナミクスを捉えるスケーラブルで微分可能なフレームワークの開発。
• 凸型正則化による重みのスパarsityを強制することで、解釈可能な因果構造の同定を可能にすること。
• 従来の手法が失敗するような、遺伝子調節ネットワークのような、小規模で高次元の時系列データにおいて、有効性を示すこと。
• ディープラーニングを予測タスクから、複雑な動的システムにおける因果推論へと拡張すること。

提案手法

• 学習可能なラグ構造を有する、構造的マルチレイヤーパーセプトロン（MLP）を用いて、時系列における非線形自己回帰的依存関係をモデル化する。
• 再帰的ニューラルネットワーク（RNN）を用いて、時系列全体にわたる長距離時系列依存性を明示的にモデル化する。
• ネットワーク重みに凸型グループリasso正則化を組み込み、スパarsityを誘導し、顕著な因果リンクを特定する。
• バックプロパゲーションを用いたエンドツーエンド学習を実施しつつ、因果経路におけるスパarsityを保ち、解釈可能性を維持する。
• 構造的重み共有を用いた自動ラグ選択により、過学習を低減し、一般化性能を向上させる。
• 因果構造同定タスクを、予測精度とスパarsityのバランスを取る微分可能な最適化問題として定式化する。

実験結果

リサーチクエスチョン

• RQ1 構造的スパarsityを有するディープラーニングモデルは、観測数が限られた時系列において、非線形グレーバー因果関係を効果的に同定できるか？
• RQ2 グループリasso正則化を施したRNNとMLPは、非線形時系列における長距離依存性をどのように捉えられるか？
• RQ3 本手法は、実世界の生物学的時系列データにおいて、既存の非線形グレーバー因果関係手法をどの程度上回るか？
• RQ4 本フレームワークは、遺伝子発現時系列のような高次元・小標本サイズのデータセットにおいて、意味のある因果相互作用を検出できるか？
• RQ5 スパarsity誘導型正則化を用いることで、密なモデルに比べ、より解釈可能で正確な因果ネットワーク推定が可能になるか？

主な発見

• 提案されたニューラルグレーバー因果関係手法は、非線形遺伝子発現および調節時系列を含むDREAM3チャレンジデータセットにおいて、最先端の非線形手法を上回る性能を示した。
• フレームワークは、時系列の数が限られている状況でも、非線形的かつ長距離依存性を効果的に捉えることができた。
• スパarsity誘導型グループリasso正則化は、関連する因果接続を効果的に同定し、モデルの解釈性を向上させた。
• 本手法は人間のモーションキャプチャデータセットにおいても優れた性能を発揮し、ゲノム分野を超えた汎用性を示した。
• 微分可能なスパarsityを有する構造的ディープラーニングを用いることで、高い予測精度と意味のある因果構造の同定の両立が達成された。