[論文レビュー] Solving differential equations with unknown constitutive relations as recurrent neural networks

Tobias Hagge, Panos Stinis+2 more|arXiv (Cornell University)|Oct 6, 2017

Model Reduction and Neural Networks参考文献 5被引用数 15

ひとこと要約

本稿では、部分的で時系列データからの常微分方程式（ODE）における未知の構成関係を、離散化されたODEダイナミクスをRNN学習プロセスに直接埋め込むことで学習する、新しい再帰的ニューラルネットワーク（RNN）ベースのフレームワークを提案する。この手法は感度方程式の解法を回避し、数千ステップにわたる学習を可能にし、高精度かつ安定して連続撹乱バイオリアクターの反応キネティクスを再構築することができる。

ABSTRACT

We solve a system of ordinary differential equations with an unknown functional form of a sink (reaction rate) term. We assume that the measurements (time series) of state variables are partially available, and we use recurrent neural network to "learn" the reaction rate from this data. This is achieved by including a discretized ordinary differential equations as part of a recurrent neural network training problem. We extend TensorFlow's recurrent neural network architecture to create a simple but scalable and effective solver for the unknown functions, and apply it to a fedbatch bioreactor simulation problem. Use of techniques from recent deep learning literature enables training of functions with behavior manifesting over thousands of time steps. Our networks are structurally similar to recurrent neural networks, but differences in design and function require modifications to the conventional wisdom about training such networks.

研究の動機と目的

• 状態変数の部分的時系列測定値しか入手できない状況下で、ODEにおける未知の関数形を学習する課題に対処すること。
• バックプロパゲーション中に感度ODEを解く必要がある従来手法の制限を克服すること。
• スケーラブルなディープラーニング技術を用いて、未知関数における複雑で長期的な動的挙動の学習を可能にすること。
• ODE離散化をRNNアーキテクチャに直接統合することで、安定性と解釈可能性を向上させたフレームワークの開発。
• 間欠的または欠損したデータを伴う実世界の連続撹乱バイオリアクターのシミュレーションにおいて、手法の有効性を実証すること

提案手法

• 支配的ODEの離散化形を再帰的ニューラルネットワークアーキテクチャ内の微分可能レイヤーとして埋め込む。
• TensorFlowのRNNフレームワークを拡張し、ODEダイナミクスを計算グラフの一部として統合することで、エンドツーエンドのバックプロパゲーションを可能にする。
• 部分的観測または間欠的にサンプリングされたデータを含む長期時系列データを、未知の反応速度関数の訓練信号として使用する。
• 標準的なRNNメモリメカニズムが欠落しているにもかかわらず、トレーニングの不安定性を抑えるために、現代のディープラーニング技術（例：正規化、初期化戦略）を適用する。
• 各時刻でODEシステムの動的制約を保持する構造をネットワークに組み込むことで、物理的整合性を強制する。
• システムの動的誤差に対する感受性が高いため、長期的な時間スパンにおける予測誤差に基づく損失関数を用いてネットワークを訓練する

実験結果

リサーチクエスチョン

• RQ1 感度方程式を解かずに、未知のODEにおける構成関数を学習するために再帰的ニューラルネットワークアーキテクチャを効果的に適合させることは可能か？
• RQ2 何百、何千ステップにもわたる長期的な動的挙動を、微分方程式における未知関数の学習にどの程度活用できるか？
• RQ3 ODE離散化をRNN構造に直接埋め込むことで、従来のRNNと比較してトレーニングの安定性と収束性にどのような影響を与えるか？
• RQ4 主要な状態変数が測定不能またはデータが時間的に間欠的であっても、この手法が未知の反応キネティクスを高精度に再構築できるか？
• RQ5 ODEシステムが初期条件に敏感である場合に、学習関数の良好な挙動を保証するための初期化およびアーキテクチャ的選択として、最も効果的なものは何か？

主な発見

• 提案手法は、部分的時系列データのみを用いて連続撹乱バイオリアクターのモデルにおける未知の反応速度関数を高精度に学習し、再構築に成功した。
• バックプロパゲーション中に感度ODEを解く必要がなくなるため、計算負荷と複雑さが顕著に低減された。
• データの間欠性や状態変数の欠損に対してもロバストであるため、主要な観測値が測定不能であってもトレーニングが可能である。
• 長期的な動的整合性を監視信号として活用することで、数千ステップにわたる安定したトレーニングが達成された。
• アーキテクチャがRNNに類似しているため、ディープラーニング技術の利用が可能であるが、動的制約が課されることで、標準的なRNNとは異なり、より特徴的で物理的に妥当な解が得られる。
• 初期化は極めて重要な要因であり、不適切な選択は物理的に不適切な挙動を示す学習関数に起因して、超指数的爆発を引き起こす可能性があるため、慎重な設計が不可欠であることが示された。