[論文レビュー] Universal Differential Equations for Scientific Machine Learning

Christopher Rackauckas, Yingbo Ma+7 more|arXiv (Cornell University)|Jan 13, 2020

Model Reduction and Neural Networks被引用数 69

ひとこと要約

普遍微分方程式（UDEs）をSciMLエコシステム内に導入し、物理知識とデータ駆動学習を統合して、象徴回帰から高次元PDEsまで幅広い応用に対して効率的なトレーニングを実現する。

ABSTRACT

In the context of science, the well-known adage "a picture is worth a thousand words" might well be "a model is worth a thousand datasets." In this manuscript we introduce the SciML software ecosystem as a tool for mixing the information of physical laws and scientific models with data-driven machine learning approaches. We describe a mathematical object, which we denote universal differential equations (UDEs), as the unifying framework connecting the ecosystem. We show how a wide variety of applications, from automatically discovering biological mechanisms to solving high-dimensional Hamilton-Jacobi-Bellman equations, can be phrased and efficiently handled through the UDE formalism and its tooling. We demonstrate the generality of the software tooling to handle stochasticity, delays, and implicit constraints. This funnels the wide variety of SciML applications into a core set of training mechanisms which are highly optimized, stabilized for stiff equations, and compatible with distributed parallelism and GPU accelerators.

研究の動機と目的

• 機械的な物理モデルとデータ駆動学習をブレンドしてデータ効率と予測力を向上させる動機付け。
• 差分方程式と普遍近似器を結ぶ統一フレームワークとしてUDE形式を導入。
• SciMLツールが効率的なトレーニング、アジョイント法、スケーラブルな計算を多様な問題クラスで可能にすることを示す。
• モデル発見、高次元PDE、学習された閉じ関係を含む多様な応用を実証。
• 科学機械学習のためのSciMLエコシステムの性能、安定性、柔軟性の利点を強調。

提案手法

• 普遍近似器（例：ニューラルネット）を組み込んだ微分方程式としての普遍微分方程式（UDEs）を定義し、未知のダイナミクスを捉える。
• SciMLスタックを説明：DifferentialEquations.jl、DiffEqSensitivity.jl、DiffEqFlux.jl は効率的なソルバー、アジョイント、ニューラルネットワーク統合のために。
• 連続的および離散的なアジョイント感度解析と、それらがUDEsの勾配ベース訓練に果たす役割を説明。
• 象徴回帰とデータ駆動学習をUDEsと組み合わせて、知識を強化したモデル発見（例：SINDy風アプローチ）を実現。
• 確率的遅延、DAEs、ハイディメンショナルPDEs のUDEsの構築をデモし、具体的ユースケース（Lotka-Volterra、Fisher-KPP、ボース‐ジヌス閉じ、100次元のHJB）で説明。

実験結果

リサーチクエスチョン

• RQ1 統一的なUDEフレームワークは、物理法則とデータ駆動成分をどう統合して堅牢な科学的学習を実現できるか？
• RQ2 硬直・確率的・遅延系にわたる安定でスケーラブルな訓練を最も実現するアジョイント/感度戦略は何か？
• RQ3 ドメイン知識を注入してデータ要求を減らし、シンボリック回帰とモデル発見をUDEsにより強化できるか？
• RQ4 高次元PDEsや複雑な多物理問題（例：ボースジヌス、FENE-P）にUDEsを適用して加速と精度を達成できるか？
• RQ5 SciMLエコシステムの実用的な性能利得は、各種問題クラスにおける既存のML-DEライブラリと比較してどうか？

主な発見

• SciMLエコシステムは、硬い ODE/DAE、SDE、DDE、分散・GPU対応計算とともに安定化したアジョイントをサポートする。
• DifferentialEquations.jl、DiffEqSensitivity.jl、DiffEqFlux.jl によるアジョイントベース訓練は、大規模UDEsの勾配計算を効率化し、しばしば同等のライブラリよりも性能が良い。
• UDEsを用いた知識強化型象徴回帰は、データ効率と基底方程式の再現性を、標準的なSINDyアプローチと比較して改善。
• 高次元PDEsはUSDEsやUPDEsとして定式化でき、適応的で高次・安定な解を提供、従来法で困難だった。
• UDEsによって学習された自動閉じ関係は、シミュレーションを大幅に加速させる（例：ボースジヌスに基づく文脈で約15,000倍の速度アップ、非ニュートン流体の非線形閉じの改善）。
• SciMLツールキットは、代表的な科学系システムにおいて、いくつかのML-DEベースラインよりも性能向上を実現できる。