[論文レビュー] Beyond Predictions in Neural ODEs: Identification and Interventions

Aliee, Hananeh, Fabian J. Theis+1 more|arXiv (Cornell University)|Jun 23, 2021

Model Reduction and Neural Networks参考文献 50被引用数 5

ひとこと要約

本稿では、通常微分方程式（ODE）からの時系列データにおける因果的ダイナミクスおよび構造的依存関係を同定するために、スパarsity正則化を組み込んだニューラルODE、C-NODEを提案する。スパースな因果的関係を強制することで、C-NODEは根本的なODEを回復し、非線形的で循環的かつ高次元なシステム、さらには実際の単一細胞RNA-seqデータを含む環境でも、介入に対する正確な予測を可能にする。

ABSTRACT

Spurred by tremendous success in pattern matching and prediction tasks, researchers increasingly resort to machine learning to aid original scientific discovery. Given large amounts of observational data about a system, can we uncover the rules that govern its evolution? Solving this task holds the great promise of fully understanding the causal interactions and being able to make reliable predictions about the system's behavior under interventions. We take a step towards answering this question for time-series data generated from systems of ordinary differential equations (ODEs). While the governing ODEs might not be identifiable from data alone, we show that combining simple regularization schemes with flexible neural ODEs can robustly recover the dynamics and causal structures from time-series data. Our results on a variety of (non)-linear first and second order systems as well as real data validate our method. We conclude by showing that we can also make accurate predictions under interventions on variables or the system itself.

研究の動機と目的

• 観測時系列データから真の根本的ODEダイナミクスを同定する課題に取り組むこと。これは構造的制約がなければ不適切に定義された問題である。
• ニューラルODEを用いて非線形的で循環的かつ高次元な力学的システムにおける因果構造の同定性を向上させること。
• 真の支配的ダイナミクスを学習することで、変数またはシステムパラメータに対する介入についても信頼性の高い予測を可能にすること。
• ノイズや不規則なサンプリングがある状況下でも、合成ODEおよび実世界の単一細胞遺伝子発現データに対して本手法を検証すること。
• スパarsity正則化が、観測データから生物学的に意味のあるレギュラトリネットワークの回復をどのように向上させるかを示すこと。

提案手法

• 因果的相互作用の数を制限するスパarsity誘導型正則化スキームをニューラルODEに導入し、解釈可能で同定可能なダイナミクスを促進する。
• 正則化をニューラルODEの導関数ネットワークに適用し、各状態変数の導関数に影響を与える関連変数が少数に制限されるようにする。
• 勾配ベース最適化を用いて、ODE関数の同時学習と因果構造の推論を可能にする微分可能アーキテクチャを採用する。
• 学習済みの導関数関数から因果的親ノードを抽出する因果発見パイプラインを適用し、循環的依存関係を含む。
• さまざまなノイズおよびサンプリング条件下で、一次および二次の合成ODE、線形および非線形システムを対象に本手法を検証する。
• C-NODEをヒトおよびマウスの造血系における実際の単一細胞RNA-seqデータに適用し、主要な転写因子およびレギュラトリジェンを同定する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルODEにおけるスパarsity正則化は、観測時系列データから真の根本的ODEダイナミクスを同定するのを改善するか？
• RQ2 C-NODEは非線形的かつ高次元な力学的システムにおいて、循環的依存関係を含む因果構造を正確に推論できるか？
• RQ3 真のダイナミクスが未知であっても、C-NODEは変数またはシステムパラメータに対する介入において、予測の正確性を維持できるか？
• RQ4 C-NODEはノイズが多く不規則にサンプリングされた単一細胞RNA-seqデータから、生物学的に関連のある遺伝子レギュラトリネットワークをどれほど効果的に回復できるか？
• RQ5 スパarsity正則化は、高次元データにおける誤った特徴に依存するのをどれほど効果的に防ぐか？

主な発見

• C-NODEは、追加ノイズおよび不規則なサンプリング下でも、合成的一次および二次非線形システムにおいて真のODEダイナミクスと因果構造を成功裏に回復した。
• 本手法は、変数およびシステムパラメータに対する未観測の介入に対しても正確な予測を達成し、単なる予測を超えたロバストネスを示した。
• 529個の遺伝子を含むヒトの造血系データにおいて、C-NODEは141個の主要なレギュラトリジェンを同定した。そのうち22個は赤血球形成に不可欠な既知の転写因子であった。
• 遺伝子セット豊富度解析により、C-NODEが造血幹細胞および赤血球の分化といった生物学的に関連するプロセスを捉えていることが確認された。
• 141個の重要な遺伝子は、すべての細胞タイプ全体では変動が著しくないが、赤血球系に特異的に変動していることから、誤った特徴に依存していないことが示された。
• C-NODEは種間で一般化可能であり、ヒトおよびマウスの単一細胞RNA-seqデータの両方で、GATA遺伝子がヘモグロビン遺伝子のレギュレーターとして正しく同定された。