[論文レビュー] Deep Euler method: solving ODEs by approximating the local truncation error of the Euler method

Xing‐Xing Shen, Xiaoliang Cheng+1 more|arXiv (Cornell University)|Mar 21, 2020

Model Reduction and Neural Networks参考文献 26被引用数 13

ひとこと要約

本稿では、深層ニューラルネットワークを用いて局所切捨て誤差を近似することで、常微分方程式を解く古典的オイラー法を改善する新規手法であるDeep Euler Method (DEM) を提案する。誤差を学習・補正することで、大ステップサイズ（例：h ≥ 1）でも高精度な解を得ることができ、標準的オイラー法やルンゲ＝クッタ法を著しく上回り、未測定領域への一般化性と安定性を維持する。

ABSTRACT

In this paper, we propose a deep learning-based method, deep Euler method (DEM) to solve ordinary differential equations. DEM significantly improves the accuracy of the Euler method by approximating the local truncation error with deep neural networks which could obtain a high precision solution with a large step size. The deep neural network in DEM is mesh-free during training and shows good generalization in unmeasured regions. DEM could be easily combined with other schemes of numerical methods, such as Runge-Kutta method to obtain better solutions. Furthermore, the error bound and stability of DEM is discussed.

研究の動機と目的

• 常微分方程式を解く際の古典的オイラー法の精度の低さと厳密なステップサイズ制約を是正すること。
• 複雑なニューラルネットワークアーキテクチャを必要とせず、メッシュフリーで一般化可能な深層学習フレームワークを構築し、数値的ODEソルバーを向上させること。
• 深層ニューラルネットワークを用いて局所切捨て誤差を明示的にモデル化・補正することで、オイラー法のグローバル精度を向上させること。
• 従来の方法が失敗または発散するような大ステップサイズ（例：h = 1.0）でも高精度な解を得られるようにすること。
• 誤差近似ネットワークの教師あり学習により、ノイズの多いデータに頑健で、未測定領域への一般化性を確保すること。

提案手法

• 全結合の深層ニューラルネットワークを、正確な解からのラベル付きデータを用いて、前向きオイラー法の局所切捨て誤差を近似するように訓練する。
• 均等なメッシュ上で教師あり事前学習を実施し、各ステップにおけるオイラー近似値と真の解との差を学習する。
• 訓練後、ネットワークは各ステップの補正項を予測し、これを標準的オイラー更新に加算することでより高精度な解を得る。
• 補正項は、y_{m+1} = y_m + h f(x_m, y_m) + N(x_m, x_{m+1}, y_m) のように適用され、ここでNは局所切捨て誤差を近似する。
• 本手法はモジュラーであり、ルンゲ＝クッタ法など他の数値スキームと組み合わせることで、さらに精度を向上させられる。
• 訓練中はメッシュフリーであり、外挿実験により、未観測領域への一般化性が優れていることが示された。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、オイラー法の局所切捨て誤差を効果的に学習・補正し、解の精度を向上させることができるか？
• RQ2 標準的オイラー法やルンゲ＝クッタ法が失敗するような大ステップサイズ（例：h = 1.0）において、DEMはどの程度高い精度を維持できるか？
• RQ3 さまざまなステップサイズを伴う状況において、DEMは訓練ドメイン外の領域にどの程度一般化できるか？
• RQ4 古典的オイラー法と比較して、DEMの理論的誤差境界と安定性挙動はいかなるものか？
• RQ5 ノイズの多いまたは限られたデータで訓練された場合でも、DEMは頑健性と精度を維持できるか？

主な発見

• DEMはグローバル切捨て誤差がO(ηh)となることが示され、ηはニューラルネットワークが局所切捨て誤差を近似する際の誤差であり、オイラー法のO(h)と比べて著しく優れている。
• h = 1.0の場合、ロジスティック成長およびケプラー問題の両例において、DEMは正確な解とほぼ一致する解を得たが、オイラー法やヘウン法は発散または著しく不正確な結果を示した。
• 訓練データが[0,15]に限定されていても、未測定領域（例：(15,25]）への局所切捨て誤差のニューラルネットワーク近似が良好に一般化され、優れた外挿能力を示した。
• DEMは、両例においてすべてのテストステップサイズ（h = 0.01, 0.1, 0.5, 1.0）で高い精度を維持し、正確な解とほとんど区別がつかない解を得た。
• 実験により、測定データにノイズが含まれてもDEMは頑健であり、単純な全結合ネットワークと最小限の訓練データでも速やかに収束することが示された。
• 訓練目的関数がO(1)のまま維持されるため、深層ニューラルネットワークの高速かつ安定な収束が可能となり、実用的導入の重要な要因となった。