[論文レビュー] DYNOTEARS: Structure Learning from Time-Series Data

Roxana Pamfil, Nisara Sriwattanaworachai+5 more|arXiv (Cornell University)|Feb 2, 2020

Bayesian Modeling and Causal Inference参考文献 54被引用数 4

ひとこと要約

DYNOTEARSは、時系列データにおける同時的（スライス内）および時間遅れ（スライス間）の関係を統合的に推定するスコアベースの手法を提案する。非巡回性の滑らかな代数的特徴付けを活用することで、標準的な2次最適化手法で解ける制約付き最適化問題として構造学習を定式化し、金融および分子生物学分野のシミュレート済みおよび実世界のデータセットにおいて、高次元設定でも最先端の性能を達成した。

ABSTRACT

We revisit the structure learning problem for dynamic Bayesian networks and propose a method that simultaneously estimates contemporaneous (intra-slice) and time-lagged (inter-slice) relationships between variables in a time-series. Our approach is score-based, and revolves around minimizing a penalized loss subject to an acyclicity constraint. To solve this problem, we leverage a recent algebraic result characterizing the acyclicity constraint as a smooth equality constraint. The resulting algorithm, which we call DYNOTEARS, outperforms other methods on simulated data, especially in high-dimensions as the number of variables increases. We also apply this algorithm on real datasets from two different domains, finance and molecular biology, and analyze the resulting output. Compared to state-of-the-art methods for learning dynamic Bayesian networks, our method is both scalable and accurate on real data. The simple formulation and competitive performance of our method make it suitable for a variety of problems where one seeks to learn connections between variables across time.

研究の動機と目的

• 時系列データにおける即時の（スライス内）および遅延された（スライス間）依存関係を捉える動的ベイジアンネットワーク（DBN）の学習という課題に対処すること。
• 変数の数が観測数を上回る高次元設定（d > n）においてもスケーラブルかつ正確なDBN構造学習手法を開発すること。
• スライス内およびスライス間の関係を統合的にモデル化しない二段階法や独立推定手法の限界を克服すること。
• 複雑なグラフ構造に強く、有界な入次数や木幅の仮定をしない、即挿し可能な最適化ベースのフレームワークを提供すること。
• 金融およびシステム生物学分野の実世界データセットを用いて手法を検証し、最先端の手法と比較して実用的で競争力のある性能を示すこと。

提案手法

• 非巡回性を代数的に表現するため、Zhengら（2018）が提案した滑らかな等式制約を用いた、ペナルティ付きスコア最適化問題としてDBN構造学習を定式化する。
• 標準的な2次最適化アルゴリズム（例：L-BFGS）を用いて制約付き最適化問題を解き、効率的かつスケーラブルな学習を実現する。
• 重み行列を2つの成分に分離する：Wは同時的（スライス内）依存関係を、Aは時間遅れ（スライス間）依存関係をそれぞれ表し、両者を同時に推定する。
• WとA行列を要素ごとの和算により結合し、最終的な重み付き隣接行列を生成することで、完全な動的依存構造を表現する。
• 各データセットでハイパーパramータチューニングのための交差検証を実施し、実世界データにおける最適な性能を確保する。
• L1正則化を施した微分可能スコア関数を用いることで、高次元設定におけるスパarsityの促進と一般化性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 既存の二段階法や独立推定手法と比較して、統合的でスコアベースの最適化フレームワークが、動的ベイジアンネットワークにおける同時的および時間遅れの依存関係をより効果的に学習できるか。
• RQ2 特に次元の呪いにより従来手法が失敗する高次元設定（d > n）において、提案手法はどのような性能を示すか。
• RQ3 離散的または組合せ的定式化と比較して、滑らかな代数的非巡回性制約を用いることで、最適化の安定性とスケーラビリティはどの程度向上するか。
• RQ4 金融および分子生物学分野の実世界時系列データにおいて、DYNOTEARSは最先端の手法と比較して、精度および頑健性においてどの程度の性能を示すか。
• RQ5 DREAM4や株価リターンデータを含むベンチマークデータセットにおいて、同手法は既知の生物学的および金融的依存関係を信頼性高く回復できるか。

主な発見

• DREAM4遺伝子調節ネットワークデータセットにおいて、DYNOTEARSは平均AUROC 0.664、AUPR 0.173を達成し、比較対象の18の手法の中でそれぞれ8位および4位の順位を記録した。
• DREAM4データセットにおいて、G1DBN、ScanBMA、VBSSMなど多くのベースライン手法と比較してAUPRで優れた性能を示し、真の調節相互作用の同定において強力な性能を発揮した。
• 金融データセット（d=97）において、DYNOTEARSは頑健性とスケーラビリティを示し、グラフ複雑度に上限を仮定せず、スライス内およびスライス間の依存関係を効果的に学習した。
• シミュレート済みおよび実世界の両方のデータで競争力ある性能を示したが、特にd > nの高次元設定で顕著な優位性を示した。
• 滑らかな非巡回性制約の使用により、離散的または緩和型代替手法と比較して、最適化の安定性と収束性が向上した。
• スライス内およびスライス間関係の統合的推定により、分離して扱う手法と比較して、より正確で解釈可能なネットワーク構造が得られた。