[論文レビュー] Neural graphical modelling in continuous-time: consistency guarantees and algorithms

Alexis Bellot, Kim Branson+1 more|arXiv (Cornell University)|May 6, 2021

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、確率的微分方程式における局所的依存関係の有向グラフを学習するために、正則化付きニューラル常微分方程式を用いた連続時間ニューラルグラフィカルモデル（NGM）を提案する。ニューラルネットワークでパrameter化されたベクトル場を用いた構造回復の整合性保証を確立し、最新の離散時間手法と比較して不規則にサンプリングされた多次元時系列データにおいて優れた性能を示す。

ABSTRACT

The discovery of structure from time series data is a key problem in fields of study working with complex systems. Most identifiability results and learning algorithms assume the underlying dynamics to be discrete in time. Comparatively few, in contrast, explicitly define dependencies in infinitesimal intervals of time, independently of the scale of observation and of the regularity of sampling. In this paper, we consider score-based structure learning for the study of dynamical systems. We prove that for vector fields parameterized in a large class of neural networks, least squares optimization with adaptive regularization schemes consistently recovers directed graphs of local independencies in systems of stochastic differential equations. Using this insight, we propose a score-based learning algorithm based on penalized Neural Ordinary Differential Equations (modelling the mean process) that we show to be applicable to the general setting of irregularly-sampled multivariate time series and to outperform the state of the art across a range of dynamical systems.

研究の動機と目的

• 動的システムにおける真の連続時間的依存関係を捉えることのできない離散時間グラフィカルモデルの限界を克服すること。
• 不規則なサンプリングや観測頻度の変動に強く、ロバストなスコアベースの学習アルゴリズムを開発すること。
• 確率的微分方程式におけるベクトル場のニューラルネットワークパラメータ化を用いた構造回復の理論的整合性保証を確立すること。
• サブサンプリングされたり不規則な時系列データから、複雑なシステムにおける局所的直接的依存関係を正確かつ解釈可能に同定することを可能にすること。

提案手法

• 動的システムの背後にある力学系を、ニューラルネットワークでパラメータ化されたドリフト関数 f(θ) を持つ確率的微分方程式として形式化する。
• 最小二乗最適化に適応的グループlasso正則化を組み合わせ、ベクトル場 f(θ) を推定し、隣接行列 G を回復する。
• 離散的で、場合によっては不規則な観測から連続時間の動的をモデル化し、連続時間の動的を推定するために、正則化付きニューラル常微分方程式を適用する。
• 近接勾配降下法と適応正則化を用いて最適化を行い、エッジ検出におけるスパarsityと整合性を確保する。
• 導関数近似と正則化に基づく整合性の議論を用いて、本手法が真の局所的インデペンダンスグラフを一貫して回復できることを証明する。
• 複数の動的システムと評価指標を用いて、NGM を Neural Granger Causality や PCMCI、SVAM などの離散時間ベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークベースの連続時間モデルは、確率的微分方程式における真の有向グラフを一貫して回復できるか？
• RQ2 不規則なサンプリングや観測頻度の変動下において、連続時間の構造学習の性能は離散時間手法と比べてどのように異なるか？
• RQ3 正則化付きニューラルODEフレームワークにおける適応正則化は、構造回復の精度とロバスト性をどの程度向上させるか？
• RQ4 本手法は、ローレンツやロッシェルアトラクトルのような非線形的・カオス的システムに対しても、整合性と正確性を維持できるか？
• RQ5 定期的なサンプリング間隔を仮定せず、サブサンプリングされたりノイズの多い時系列データから因果構造を効果的に学習できるか？

主な発見

• ベクトル場がニューラルネットワークの広いクラスでパラメータ化されている場合、提案されたNGM手法は確率的微分方程式における真の隣接行列を一貫して回復する。
• NGM は、ローレンツ系やロッシェル系を含む、すべてのテストされた動的システムにおいて、最新の離散時間手法（Neural Granger Causality や PCMCI）を上回る性能を示す。
• 本手法は不規則なサンプリングや観測頻度の変動に強く、特に低サンプリングレート下で離散時間手法と比較して顕著に低い誤差率を示す。
• グリコリシスオシレーターのベンチマークでは、ノイズや非線形性が存在する中でも、NGM は高いF1スコアを達成し、既知の非線形的レギュラトリ構造を正確に回復した。
• 適応的グループlasso正則化の導入により、手動のしきい値設定を必要とせず、非ゼロパラメータが直接エッジの存在を示す。
• 実験的結果から、NGM は多様なシステムにおいて、高水準の真正陽性率と低水準の偽発見率を維持しており、高ノイズやサブサンプリング下でも安定である。