[論文レビュー] Data Generating Process to Evaluate Causal Discovery Techniques for Time Series Data

Andrew R. Lawrence, Marcus Kaiser+2 more|arXiv (Cornell University)|Apr 16, 2021

Bayesian Modeling and Causal Inference参考文献 37被引用数 8

ひとこと要約

本論文は、因果発見手法のベンチマークと評価を目的として、既知の真の因果構造を持つ合成時系列データを生成する柔軟でオープンソースのフレームワークを提案する。実験により、代表的な手法が仮定の違反——特に非線形性と即時効果——に対して著しく性能を落とすことが示され、ハイパーパrameterの選択に極めて敏感であることが明らかになった。今後の研究では、より頑健で非線形的かつハイパーパrameter依存性が低い手法の開発が求められる。

ABSTRACT

Going beyond correlations, the understanding and identification of causal relationships in observational time series, an important subfield of Causal Discovery, poses a major challenge. The lack of access to a well-defined ground truth for real-world data creates the need to rely on synthetic data for the evaluation of these methods. Existing benchmarks are limited in their scope, as they either are restricted to a "static" selection of data sets, or do not allow for a granular assessment of the methods' performance when commonly made assumptions are violated. We propose a flexible and simple to use framework for generating time series data, which is aimed at developing, evaluating, and benchmarking time series causal discovery methods. In particular, the framework can be used to fine tune novel methods on vast amounts of data, without "overfitting" them to a benchmark, but rather so they perform well in real-world use cases. Using our framework, we evaluate prominent time series causal discovery methods and demonstrate a notable degradation in performance when their assumptions are invalidated and their sensitivity to choice of hyperparameters. Finally, we propose future research directions and how our framework can support both researchers and practitioners.

研究の動機と目的

• 実世界の時系列データに真の因果関係が欠如していることから、時系列因果発見手法を評価するための標準的かつ拡張可能なベンチマークの不足を解消すること。
• 静的で範囲が限定的、または仮定の違反に対する手法の頑健性を十分にテストできない既存のベンチマークの限界を克服すること。
• 研究者や実務家が分野固有の知識に整合する合成データを生成可能にし、原理的で効果的な手法開発およびハイパーパrameterチューニングを可能にすること。
• 非線形ダイナミクス、即時効果、非定常性を含む制御された現実的状況下で、最先端の因果発見手法の性能を評価すること。
• ハイパーパrameter依存の過剰な依存や非線形モデル化の不足といった、主な研究ギャップを同定し、今後の手法開発を導くこと。

提案手法

• 構造的因果モデル（SCM）を用いて、カスタマイズ可能な因果グラフ、関数形、ノイズ分布を備えた時系列データを生成する。
• 変数間の線形および非線形関係（加法的で等分散性のあるノイズを含む）をサポートし、ユーザー定義のパrameter化を可能にする。
• 即時（同時刻）効果、ラグ付きの依存関係、およびレジームシフトや干渉といった構造的変化の組み込みを可能にする。
• ユーザーが指定する変数数、時系列ステップ数、動的グラフ構造を備えた多次元時系列の生成をサポートする。
• オープンソースとして実装されており、特定の用途に合わせたカスタマイズが可能な例題スクリプトを提供する。
• モデルパラメータを変化させ、F1スコア、SHD、真陽性・偽陽性率といったメトリクスを用いて、因果発見アルゴリズムの系統的評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 線形性、独立性、即時効果なしといった主要な仮定が違反された場合、代表的な時系列因果発見手法の性能はどの程度低下するか？
• RQ2 因果発見手法の性能は、p値閾値や正則化パラメータといったハイパーパrameterの選択にどの程度依存するか？
• RQ3 PCMCI、PCMCI+、多次元グレインジャー、DYNOTEARSといった手法は、即時因果効果の存在に対してどのように対処するのか。また、精度と再現率のトレードオフは何か？
• RQ4 本フレームワークは、多様なデータ生成プロセス下での頑健性と一般化性能の観点から、手法の差を的確に特定できるか？
• RQ5 PCMCI や DYNOTEARS に対して最も効果的なハイパーパrameter設定は何か。また、F1スコアや構造的ハミング距離（SHD）といった性能メトリクスに与える影響は？

主な発見

• 即時効果が導入されると、F1スコアは著しく低下し、SHDは上昇する。特に、ラグ0依存関係をモデル化できない多変量グレインジャーのような手法で顕著である。
• PCMCI+は即時効果を明示的にモデル化しているため、PCMCIよりも優れた性能を示す。類似した真正陽性率を維持しながら偽陽性を低減する。
• PCMCIの最終選択段階におけるp値閾値の選択が性能に決定的影響を与える。最適な結果はp値閾値0.01で得られるが、PC法のp値閾値は性能にほとんど影響しない。
• DYNOTEARSでは、中程度のL1正則化（0.5～1.0）と小さなw_thresholdが最適な性能をもたらす。これはスパarsityと正確性の間のトレードオフを示している。
• 線形手法（多変量グレインジャー）は非線形状況では期待通りに性能を発揮しないが、本フレームワークにより、仮定違反下での失敗モードが明確に特定された。
• 本フレームワークにより、現在の手法が非線形性や即時効果といった現実のデータ課題に対して極めてハイパーパrameterに感受性を示し、頑健性に欠けていることが明確に明らかになった。