[論文レビュー] Economy Statistical Recurrent Units For Inferring Nonlinear Granger Causality

Saurabh Khanna, Vincent Y. F. Tan|arXiv (Cornell University)|Nov 22, 2019

Functional Brain Connectivity Studies参考文献 31被引用数 7

ひとこと要約

本稿では、時系列データから非線形Granger因果関係を推定するための、軽量でスパarsity誘導型の統計的再帰ユニット（SRU）の変種であるeconomy-SRUを提案する。構造的スパース正則化と低次元のランダム射影を隠れ状態に適用することで、時間局所的で予測可能な特徴を効果的に捉え、MLP、LSTM、アテンションゲート付きCNNと比較して著しく過学習を抑える一方で、合成データ、fMRI、遺伝子調節ネットワークのベンチマークにおいて真の因果ネットワークの回復性能を上回る。

ABSTRACT

Granger causality is a widely-used criterion for analyzing interactions in large-scale networks. As most physical interactions are inherently nonlinear, we consider the problem of inferring the existence of pairwise Granger causality between nonlinearly interacting stochastic processes from their time series measurements. Our proposed approach relies on modeling the embedded nonlinearities in the measurements using a component-wise time series prediction model based on Statistical Recurrent Units (SRUs). We make a case that the network topology of Granger causal relations is directly inferrable from a structured sparse estimate of the internal parameters of the SRU networks trained to predict the processes$'$ time series measurements. We propose a variant of SRU, called economy-SRU, which, by design has considerably fewer trainable parameters, and therefore less prone to overfitting. The economy-SRU computes a low-dimensional sketch of its high-dimensional hidden state in the form of random projections to generate the feedback for its recurrent processing. Additionally, the internal weight parameters of the economy-SRU are strategically regularized in a group-wise manner to facilitate the proposed network in extracting meaningful predictive features that are highly time-localized to mimic real-world causal events. Extensive experiments are carried out to demonstrate that the proposed economy-SRU based time series prediction model outperforms the MLP, LSTM and attention-gated CNN-based time series models considered previously for inferring Granger causality.

研究の動機と目的

• 非線形系において線形モデルに基づくGranger因果関係の限界を克服すること。特に、弱い非線形性下でも標準的手法が失敗する状況を想定。
• 多変量時系列から非線形なペアワイズGranger因果関係を推定できる深層学習ベースの時系列予測フレームワークを構築すること。
• 高次元・小標本設定における過学習を軽減するため、パラメータ効率的で構造的スパースな再帰的アーキテクチャを設計すること。
• 戦略的な正則化を通じて、再帰モデルの内部パラメータから直接ネットワークトポロジーを推論可能にする仕組みを提供すること。

提案手法

• economy-SRU（eSRU）を提案。高次元の隠れ状態をランダム射影により低次元スケッチに変換することで、パラメータ数と過学習を削減するSRUの変種。
• 内部重みパラメータにグループ単位の正則化を適用し、時間局所的で意味のある予測特徴を促進。これは現実の因果的出来事に類似した挙動を再現する。
• n個の確率過程間の非線形相互作用を表現するための成分別自己回帰モデル（式1）を採用。各成分はeSRUを用いて予測する。
• eSRUを平均二乗誤差損失関数を用いて訓練。Granger因果関係のトポロジーは、モデル内部パラメータの構造的スパース性から推定する。
• 正則化されたモデルにおける非ゼロ重みに基づき、予測に顕著に寄与する過去の入力を同定することで、因果ネットワークを推定するフレームワークを適用。

実験結果

リサーチクエスチョン

• RQ1 パラメータ効率的でスパースな再帰モデルは、限られた時系列データから非線形Granger因果関係を推定する際、標準的な深層学習アーキテクチャを上回る性能を示せるか？
• RQ2 再帰モデルの内部パラメータにおける構造的スパース性は、実際に存在する因果ネットワークトポロジーを直接反映するか？
• RQ3 SRUの隠れ状態におけるランダム射影は、因果推論の予測性能を維持しつつ、過学習を軽減できるか？
• RQ4 eSRUの性能は、MLP、LSTM、アテンションゲート付きCNNと比較して、多様なデータセットにおいて真の因果ネットワークの回復にどの程度優れているか？

主な発見

• T=1000の時系列サンプルにおいて、合成VARデータセットでeSRUは平均AUROC 0.98±0.01を達成し、真のGranger因果ネットワークをほぼ完全に回復した。
• T=200のfMRI BOLDデータにおいて、eSRUは平均AUROC 0.84±0.03を達成。MLP（0.81±0.04）、LSTM（0.70±0.03）、TCDF（0.75±0.04）を上回った。
• 21時系列ポイントのDREAM-3 in silicoネットワークチャレンジにおいて、eSRUはE.coli-1で最高のAUROC 0.660、E.coli-2で0.629を記録。5つのネットワークのうち4つでMLP、LSTM、TCDFを上回った。
• T=500ではeSRUとMLPの平均AUROCは統計的に同等であったが、T=1000ではeSRUが優れた性能を示し、より多くのデータで一般化性能に優れていることが示された。
• eSRUの構造的スパースなパラメータ推定値は、直接的にGranger因果関係のネットワークトポロジーを明らかにし、本手法の解釈可能性を裏付けた。