[論文レビュー] NTS-NOTEARS: Learning Nonparametric DBNs With Prior Knowledge

Xiangyu Sun, Oliver Schulte+2 more|arXiv (Cornell University)|Sep 9, 2021

Bayesian Modeling and Causal Inference被引用数 5

ひとこと要約

NTS-NOTEARS は、1次元畳み込みニューラルネットワーク（CNN）を用いて時系列データにおける非線形的・ラグ付き（スライス間）および即時的（スライス内）な依存関係をモデル化する、スコアベースで非パラメトリックな動的ベイジアンネットワーク（DBN）の構造学習手法を提案する。この手法は、サイクル制約を課した連続最適化に拡張された NOTEARS フレームワークを用い、最適化制約を通じて事前知識を統合することで、合成データ、ベンチマーク、および実世界のNHLアイスホッケーのデータにおいて、最先端のF1スコア（最大20%の向上）を達成した。

ABSTRACT

We describe NTS-NOTEARS, a score-based structure learning method for time-series data to learn dynamic Bayesian networks (DBNs) that captures nonlinear, lagged (inter-slice) and instantaneous (intra-slice) relations among variables. NTS-NOTEARS utilizes 1D convolutional neural networks (CNNs) to model the dependence of child variables on their parents; 1D CNN is a neural function approximation model well-suited for sequential data. DBN-CNN structure learning is formulated as a continuous optimization problem with an acyclicity constraint, following the NOTEARS DAG learning approach. We show how prior knowledge of dependencies (e.g., forbidden and required edges) can be included as additional optimization constraints. Empirical evaluation on simulated and benchmark data show that NTS-NOTEARS achieves state-of-the-art DAG structure quality compared to both parametric and nonparametric baseline methods, with improvement in the range of 10-20% on the F1-score. We also evaluate NTS-NOTEARS on complex real-world data acquired from professional ice hockey games that contain a mixture of continuous and discrete variables. The code is available online.

研究の動機と目的

• 時系列データにおける動的ベイジアンネットワーク（DBN）の複雑な非線形的依存関係を捉えることに制限を受けるパラメトリックモデルの限界を是正すること。
• DBNにおけるスライス間（ラグ付き）およびスライス内（同時）の両方の依存関係を捉える非パラメトリックな構造学習手法を開発すること。
• 事前知識（例：禁止または必須のエッジ）を最適化制約として構造学習プロセスに統合すること。
• 既存のスコアベースおよび制約ベースの手法と比較して、実世界およびベンチマークデータにおけるDBN構造学習の精度とスケーラビリティを向上させること。

提案手法

• 時系列データにおける子変数と親変数の間の非線形関数的関係をモデル化するために、1次元畳み込みニューラルネットワーク（CNN）を用いる。
• 構造学習問題を、1層目のCNN重みに関する制約付き最適化問題として定式化することで、NOTEARS連続最適化フレームワークをDBNに拡張する。
• 重み行列の行列式に基づく微分可能制約を用いてサイクル制約を課し、結果として得られるグラフがDAG（有向非巡回グラフ）であることを保証する。
• 最適化中にCNNの1層目の重みに線形不等式制約を追加することで、事前知識（例：必須または禁止エッジ）を統合する。
• 非線形性と事前知識の両方を効率的に処理できるように、L-BFGS-B最適化アルゴリズムを用いる。
• 最適化された1層目のCNN重みから、DBNにおける親子関係を表すDAG構造を抽出する。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックでエンドツーエンド微分可能な手法が、時系列データからのDBN構造学習において、パラメトリックモデルや線形モデルを上回ることができるか？
• RQ2 1次元CNNは、アテンションベースやMLPベースのモデルと比較して、DBNにおける複雑な非線形的時系列依存関係（スライス間およびスライス内）をどれほど効果的にモデル化できるか？
• RQ3 連続最適化を用いたDBN構造学習において、事前知識（例：禁止または必須エッジ）をどれほど効果的に符号化・実装できるか？
• RQ4 NTS-NOTEARSは、合成データおよび実世界データにおいて、最先端のスコアベースおよび制約ベースの手法と比較して、F1スコア、AUROC、スケーラビリティの観点でどのように性能を発揮するか？

主な発見

• Lorenz 96ベンチマークでは、NTS-NOTEARSが平均F1スコア 0.996 ± 0.002 を達成し、DYNOTEARS（0.855 ± 0.016）とTCDF（0.459 ± 0.017）を大きく上回り、次善の手法と比較して14%の向上を示した。
• fMRIベンチマークでは、NTS-NOTEARSがF1スコア 0.628 ± 0.023 を達成し、PCMCI+（0.502 ± 0.045）とDYNOTEARS（0.475 ± 0.020）を上回り、実世界の脳ネットワークデータにおいて優れた性能を示した。
• NTS-NOTEARSはLorenz 96で0.811、fMRIで0.749の最高AUROCを達成し、ハイパーパramータ設定にかかわらず優れた識別性能を示した。
• 実世界のNHLアイスホッケーのデータでは、NTS-NOTEARSがシュート時間、ゴールまでの距離（xAdjCoord(t-1)）、人数優位状態といった、非線形性を捉えられない線形的DYNOTEARSモデルが見逃していた重要な得点要因を効果的に同定した。
• 特に複雑な依存関係を示す高次元時系列データにおいて、制約ベースのPCMCI+手法よりもスケーラビリティと精度に優れた。
• 事前知識（例：ゴールイベントからのエッジを禁止）を統合することで、モデルの整合性が向上し、ドメイン固有の制約に適した構造を実現でき、NHLアプリケーションで妥当性が検証された。