[論文レビュー] A machine learning framework for data driven acceleration of computations of differential equations

Siddhartha Mishra|arXiv (Cornell University)|Jul 25, 2018

Model Reduction and Neural Networks参考文献 22被引用数 19

ひとこと要約

本論文では、微分方程式の時間依存系に対する数値解法を高速化する機械学習フレームワークを提案する。この手法は、一般化された数値スキーム（ニューラルネットワークとして再定式化された）のパラメータを勾配降下法で学習させ、細かいグリッド解との誤差を最小化することで実現する。標準的手法に比べて最大3桁の高速化を達成しながら、元の微分方程式との一貫性を保持する。

ABSTRACT

We propose a machine learning framework to accelerate numerical computations of time-dependent ODEs and PDEs. Our method is based on recasting (generalizations of) existing numerical methods as artificial neural networks, with a set of trainable parameters. These parameters are determined in an offline training process by (approximately) minimizing suitable (possibly non-convex) loss functions by (stochastic) gradient descent methods. The proposed algorithm is designed to be always consistent with the underlying differential equation. Numerical experiments involving both linear and non-linear ODE and PDE model problems demonstrate a significant gain in computational efficiency over standard numerical methods.

研究の動機と目的

• 時間依存系ODEおよびPDEの数値計算を、元の微分方程式との一貫性を損なわずに高速化すること。
• 標準的な数値手法の計算効率を、粗いグリッド上で機械学習を用いてスキームパラメータを学習することで向上させること。
• 不確実性評価、逆問題、最適制御におけるリアルタイムまたは大規模シミュレーションを可能にするために、粗いグリッド上の精度を向上させること。
• 既存の数値スキームと機械学習を統合するフレームワークを構築し、安定性および一貫性を維持すること。
• 制約付きパrameter空間を用いたディープラーニングの可能性を検討し、微分方程式の解法において標準的手法を上回ることを目的とする。

提案手法

• BDF、有限差分、有限体積法などの標準的数値スキームを、学習可能なパラメータを有する人工ニューラルネットワークとして再定式化する。
• 粗いグリッド上の解と投影された細かいグリッド解との誤差を測る損失関数を最小化するように、これらのパラメータを確率的勾配降下法で学習する。
• 既知の数値手法の一般化形態にパラメータ空間を制約することで、微分方程式との一貫性を保証する。
• 訓練中に解の誤差をL¹またはL²ノルムの損失関数で定量化する。
• 標準的な数値スキームに対応するパラメータで訓練を初期化することで、安定性および収束性の性質を維持する。
• TensorFlowなどのディープラーニングソフトウェアを用いてフレームワークを実装するが、物理的一致性を保つために学習可能なパラメータを制限する。

実験結果

リサーチクエスチョン

• RQ1 機械学習を用いて一般化された数値スキームのパラメータを学習させることで、粗いグリッド上での精度を著しく向上させることができるか？
• RQ2 勾配降下法による数値スキームパラメータの学習が、元の微分方程式との一貫性および安定性を保持するか？
• RQ3 このフレームワークは、標準的手法に比べて計算コストをどの程度削減できるか？
• RQ4 線形および非線形ODEおよびPDEにおいて、性能向上の度合いはどのように変化するか？
• RQ5 このアプローチは、不確実性評価や逆問題における複雑で高次元な問題へと拡張可能か？

主な発見

• 線形問題において、提案手法は標準的手法に比べて最大3桁の計算効率の向上を達成した。
• 非線形問題においても、計算速度は最低でも1桁の向上を達成した。
• 一般化されたBDF2スキームでは、パラメータを最適化した場合、標準スキームに比べて誤差が677.95倍小さくなった。
• フレームワークは粗いグリッド上でも一貫して正確な解を生成したため、リアルタイムまたは大規模シミュレーションへの応用が可能であると示唆された。
• 本手法は設計上、元の微分方程式との一貫性を維持している。これは、物理的整合性を失う可能性のあるエンドツーエンドのディープラーニング手法とは対照的である。
• 訓練結果は、拡散係数や波動速度などの問題パラメータに強く依存しており、問題固有の特徴に感受性が高いことが示された。