[論文レビュー] An Interpretable and Sparse Neural Network Model for Nonlinear Granger Causality Discovery

Alex Tank, Ian Cover+3 more|arXiv (Cornell University)|Nov 22, 2017

Statistical Methods and Inference参考文献 9被引用数 12

ひとこと要約

本稿では、入力から隠れ層への重みにグループlassoおよび階層的グループlasso正則化を適用することで、非線形グレーバー因果関係を同定するスパースで解釈可能なニューラルネットワークモデルを提案する。符号化層におけるスパarsityを強制することで、どの過去の時系列ラグがターゲット系列に因果的に影響を与えるかを同定し、線形VARモデルおよび非線形Lorenz-96モデルの両方で一貫した推定を達成する。

ABSTRACT

While most classical approaches to Granger causality detection repose upon linear time series assumptions, many interactions in neuroscience and economics applications are nonlinear. We develop an approach to nonlinear Granger causality detection using multilayer perceptrons where the input to the network is the past time lags of all series and the output is the future value of a single series. A sufficient condition for Granger non-causality in this setting is that all of the outgoing weights of the input data, the past lags of a series, to the first hidden layer are zero. For estimation, we utilize a group lasso penalty to shrink groups of input weights to zero. We also propose a hierarchical penalty for simultaneous Granger causality and lag estimation. We validate our approach on simulated data from both a sparse linear autoregressive model and the sparse and nonlinear Lorenz-96 model.

研究の動機と目的

• 非線形時系列依存関係を捉えることができない線形グレーバー因果関係手法の限界を解消すること。
• 多変量時系列における非線形因果関係を解釈可能に同定できるニューラルネットワークベースの手法を開発すること。
• 入力重みにスパarsityを強制することで、どの時系列の過去ラグがターゲット系列をグレーバー因果的に支配するかを同定すること。
• 階層的正則化構造を用いて、グレーバー因果関係の同定と最適ラグ順序の同時推定を行うこと。
• 線形自己回帰モデルおよび非線形力学系（例：Lorenz-96モデル）の両方で手法を検証すること。

提案手法

• 各出力系列ごとに別々のネットワークを用いることで、因果的影響を分離する多層パーセプトロン（MLP）を採用する。
• 過去ラグから隠れユニットへの第一層重みにグループlasso正則化を適用し、入力寄与のスパarsityを強制する。
• 特定の系列の過去ラグからのすべての出力重みがゼロである場合にグレーバー非因果関係を定義し、直接選択が可能になる。
• 階層的グループlasso正則化を用いて、因果的系列とその最適ラグ順序を同時に選択する。
• 固定された大きなラグ時間幅Kを設定し、階層的正則化が不要な高次ラグを自動的にゼロに設定できるようにする。
• 予測誤差を最小化する正則化最適化によりモデルを推定し、グループスパarsity正則化を組み込む。

実験結果

リサーチクエスチョン

• RQ1 構造的スパarsityを有するニューラルネットワークモデルは、多変量時系列における非線形グレーバー因果関係を同定できるか？
• RQ2 入力重みにグループlasso正則化を適用することで、線形および非線形時系列の真の因果構造が効果的に回復できるか？
• RQ3 階層的グループlasso正則化は、同時にグレーバー因果関係の選択と最適ラグ順序の推定を可能にするか？
• RQ4 非線形力学系（例：Lorenz-96モデル）において、グラフ回復のAUC指標としての性能はいかがなものか？
• RQ5 標本サイズが増加するに従い、真の因果関係が完全に検出に近づくという一貫性があるか？

主な発見

• シミュレーションされた線形VARデータにおいて、標本サイズが増加するにつれてAUC値が1に近づき、一貫性があることが示された。
• 非線形Lorenz-96モデルにおいても、標本サイズが増加するにつれてAUC値が1に近づき、非線形性に対して頑健であることが確認された。
• 階層的グループlasso正則化は、因果的相互作用の正しいラグ順序を的確に同定できており、不要な高次ラグはゼロに設定された。
• モデルはスパースな因果グラフを正確に回復し、推定されたエッジが真のグレーバー因果構造に対応していた。
• グループlasso正則化により不要な入力系列が効果的に排除され、スパースで解釈可能な因果ネットワークが得られた。
• 非線形設定において、従来の線形手法に比べて複雑で加法的でない依存関係を捉える能力に優れていた。