[論文レビュー] Parameter Estimation with Dense and Convolutional Neural Networks Applied to the FitzHugh-Nagumo ODE

Johann Rudi, Julie Bessac+1 more|arXiv (Cornell University)|Dec 12, 2020

Neural dynamics and brain function参考文献 47被引用数 19

ひとこと要約

本稿では、ノイズが混ざった時系列データからフィッツフーリュ・ナグumo常微分方程式（ODE）のパラメータを推定するため、密結合型および畳み込みニューラルネットワーク（CNN）を用いた深層学習フレームワークを提案する。観測データからモデルパラメータへの再構成写像を学習するニューラルネットワークを訓練することで、従来の最適化手法が失敗する非凸的で非線形な逆問題に対しても、高い精度のパラメータ推定が可能となり、特に部分的またはノイズ混在のデータ処理においてCNNが密結合ネットワークを上回る性能を示す。

ABSTRACT

Machine learning algorithms have been successfully used to approximate nonlinear maps under weak assumptions on the structure and properties of the maps. We present deep neural networks using dense and convolutional layers to solve an inverse problem, where we seek to estimate parameters of a FitzHugh-Nagumo model, which consists of a nonlinear system of ordinary differential equations (ODEs). We employ the neural networks to approximate reconstruction maps for model parameter estimation from observational data, where the data comes from the solution of the ODE and takes the form of a time series representing dynamically spiking membrane potential of a biological neuron. We target this dynamical model because of the computational challenges it poses in an inference setting, namely, having a highly nonlinear and nonconvex data misfit term and permitting only weakly informative priors on parameters. These challenges cause traditional optimization to fail and alternative algorithms to exhibit large computational costs. We quantify the prediction errors of model parameters obtained from the neural networks and investigate the effects of network architectures with and without the presence of noise in observational data. We generalize our framework for neural network-based reconstruction maps to simultaneously estimate ODE parameters and parameters of autocorrelated observational noise. Our results demonstrate that deep neural networks have the potential to estimate parameters in dynamical models and stochastic processes, and they are capable of predicting parameters accurately for the FitzHugh-Nagumo model.

研究の動機と目的

• フィッツフーリュ・ナグumo ODEにおけるパラメータ推定の計算的課題に対処すること。これは、弱い情報を持つ事前分布を伴い、非凸的で高次非線形な損失関数を持つ。
• 従来の最適化手法の失敗を回避するため、観測時系列データからODEパラメータへの再構成写像を学習する深層学習ベースのフレームワークを構築すること。
• ノイズの程度やデータの完全性が異なる条件下での、密結合型および畳み込みニューラルネットワークアーキテクチャのパラメータ推定性能を評価すること。
• フレームワークを拡張し、ODEパラメータと自己相関的な観測ノイズパラメータを同時に推定すること。
• 未観測のノイズレベルや部分的観測を伴うデータに対して、ニューラルネットワークの一般化能力を評価すること。

提案手法

• フィッツフーリュ・ナグumo ODEの解から得られる時系列データを、その背後にあるパラメータへ写像する深層ニューラルネットワーク（密結合型およびCNN）を訓練し、教師あり学習により再構成写像を学習する。
• 複数回の前向きODE問題の解法を繰り返し、異なるパラメータセットを用い、制御されたノイズを加えることで、学習データを生成する。
• 予測値と真値のパラメータ間の予測誤差を最小化するために、平均二乗誤差（MSE）を損失関数として使用する。
• 特にODEとノイズパラメータの共同推定において、ノイズパラメータの推定精度を向上させるために、時系列データのフーリエ変換を入力特徴として組み込む。
• 学習の安定性と収束性を向上させるために、時系列データおよびスペクトルデータに対してスケーリングと正規化（例：scikit-learnを用いて）を適用する。
• 複数のネットワークアーキテクチャおよびデータ条件において、決定係数（R²）、RMSE、予測値と真値のパラメータ間の相関係数といった統計的指標を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、高精度でフィッツフーリュ・ナグumo ODEに支配される逆問題における再構成写像を効果的に近似できるか？
• RQ2 理想的な条件とノイズ混在の条件下で、密結合型ネットワークと畳み込みニューラルネットワーク（CNN）の両者において、ODEパラメータ推定性能にどのような差が生じるか？
• RQ3 CNNは、部分的または不完全な時系列データから、密結合ネットワークとは異なり、内在する力学的性質を検出できるか？
• RQ4 学習およびテストデータにおけるノイズの影響が、ニューラルネットワークベースのパラメータ推定器の一般化能力および予測性能に与える影響は何か？
• RQ5 フレームワークを、観測データからODEパラメータと自己相関ノイズモデルのパラメータを同時に推定できるように拡張できるか？

主な発見

• 畳み込みニューラルネットワーク（CNN）は、ノイズ混在や部分的観測データを扱う状況において、常に密結合ネットワークよりも低い予測誤差を達成する。
• CNNは、時系列データから力学的特徴を効果的に抽出する能力に優れており、任意に選択された部分的観測からでも正確なパラメータ推定が可能である。これに対して、密結合ネットワークはこのような状況で著しく性能を発揮しない。
• 学習データがノイズフリーであるがテストデータに未観測のノイズが含まれる場合、密結合ネットワークがCNNよりも一般化性能に優れることが示され、ノイズ耐性とクリーンデータでの性能の間にはトレードオフがあることが示唆される。
• ODEパラメータとノイズパラメータの共同推定は、時系列データとフーリエスペクトルデータの両方が入力として使用されている場合にのみ、正確に実現可能である。スペクトルデータを省略すると、極めて大きな学習データセット（N=8000）を用いない限り、性能が著しく低下する。
• 時系列データのみを用いた場合、ノイズパラメータの推定で負のR²値が観測され、フーリエスペクトルが正確なノイズパラメータ回復に不可欠であることが確認された。
• 従来の最適化手法が失敗する極めて非線形的で非凸的な逆問題においても、本フレームワークは正確なパラメータ推定を可能にし、複雑な力学系の推論に深層学習が有効であることを示している。