[論文レビュー] Calibrating multi-dimensional complex ODE from noisy data via deep neural networks

Kexuan Li, Fangfang Wang+3 more|arXiv (Cornell University)|Jun 7, 2021

Model Reduction and Neural Networks参考文献 30被引用数 4

ひとこと要約

本稿では、ノイズ多きく不規則に間隔が空いた観測データから高次元非線形ODEを補正する二段階のディープラーニングフレームワークを提案する。最初の段階で境界カーネルスムージングによりデータのノイズを低減し、微分係数を推定する。2番目の段階では、ReLU活性化関数を用いたスパースに接続されたディープニューラルネットワークがODEの右辺をモデル化し、モジュラー構造の仮定のもとで一貫性のある推定を達成する。理論的収束速度は次元に依存せず、シミュレーションおよび米国COVID-19症例研究で検証された。

ABSTRACT

Ordinary differential equations (ODEs) are widely used to model complex dynamics that arises in biology, chemistry, engineering, finance, physics, etc. Calibration of a complicated ODE system using noisy data is generally very difficult. In this work, we propose a two-stage nonparametric approach to address this problem. We first extract the de-noised data and their higher order derivatives using boundary kernel method, and then feed them into a sparsely connected deep neural network with ReLU activation function. Our method is able to recover the ODE system without being subject to the curse of dimensionality and complicated ODE structure. When the ODE possesses a general modular structure, with each modular component involving only a few input variables, and the network architecture is properly chosen, our method is proven to be consistent. Theoretical properties are corroborated by an extensive simulation study that demonstrates the validity and effectiveness of the proposed method. Finally, we use our method to simultaneously characterize the growth rate of Covid-19 infection cases from 50 states of the USA.

研究の動機と目的

• 観測データがノイズが多く、不規則に間隔が空いており、非同期的に観測される状況下で、多変数非線形ODEを補正する課題に対処すること。
• 高次元ODEシステムにおいて次元の呪いを回避する非パラメトリック推定手法を開発すること。
• モジュラー関数構造の仮定の下で、ODEの右辺関数に対するディープニューラルネットワーク推定の理論的一貫性と収束速度保証を提供すること。
• 疫学的モデリングにおける地理的に隣接する州のような、相互に依存するシステム間でODEの各成分を同時に推定できること。
• ニューラルネットワークアーキテクチャに特徴選択を統合することで、解釈性と精度を向上させること。

提案手法

• 段階1では、境界カーネル法を用いてノイズの多い不規則な観測から真の状態変数およびその高階微分係数を推定する。
• 段階2では、ReLU活性化関数を用いたスパースに接続されたフィードフォワードディープニューラルネットワークを用いてODEの右辺関数 f₀ を近似する。
• 本手法は、f₀ の各成分が入力変数の小さな部分集合（例：x, x⁽¹⁾, ..., x⁽ᵛ⁻¹⁾）にのみ依存する一般化されたモジュラー構造を仮定する。
• 滑らかさとモジュラー構造の弱い仮定のもとで理論的一致性が確立され、収束速度はネットワークの深さ、幅、関数の滑らかさに依存するが、全体の次元 d には依存しない。
• Lemhadriら（2021）に基づく特徴選択法を用いて、各ODE成分に最も関連する入力変数を同定する。
• フレームワークは広範なシミュレーションと、米国各州におけるCOVID-19新規症例の日次増加率の推定に応用され、空間的依存性を組み込んでいる。

実験結果

リサーチクエスチョン

• RQ1 ノイズが多く、不規則にサンプリングされたデータから、高次元非線形ODE系の右辺関数をディープニューラルネットワークが一貫して推定可能か？
• RQ2 真の関数が複雑で高次元であっても、本手法がODE補正において次元の呪いを回避できるか？
• RQ3 例えば米国に隣接する州のような、相互に依存するシステム間で同時に推定することで、個別推定と比較して精度が向上するか？
• RQ4 モジュラーODE構造の下で、ニューラルネットワーク推定量の理論的収束速度はいかほどか？
• RQ5 ニューラルネットワーク内での特徴選択は、各ODE成分に影響を与える最も関連性の高い変数を効果的に同定できるか？

主な発見

• 提案手法は、一般化されたモジュラー構造のもとで、ODEの右辺関数 f₀ の一貫性のある推定を達成し、収束速度は系の次元 d に依存しない。
• 理論的分析により、収束速度は f₀ の滑らかさ、ニューラルネットワークの深さと幅、ノイズレベルに依存するが、状態変数の数には依存しない。
• シミュレーションでは、特に高次元かつノイズの多い状況下で、従来の非パラメトリック微分係数推定法を上回る性能を示した。
• 本手法を用いた州レベルのCOVID-19増加率の共同推定は、個別推定と比較して一貫性が高く、地理的に整合性のある結果をもたらし、隣接する州ではトレンドが同期していることが示された。
• 特徴選択により、マサチューセッツ州に最も影響を与える州としてニューヨーク、リーディングランド、コネチカット州が同定された。これは妥当な地域的感染伝播ダイナミクスを反映している。
• 本手法は、ピーク日別新規症例が成長率が最大に達してから約1か月後に発生すると効果的に予測した。これは予測的有用性を示している。