[論文レビュー] Data-driven discovery of free-form governing differential equations

Steven Atkinson, Waad Subber+4 more|arXiv (Cornell University)|Sep 27, 2019

Model Reduction and Neural Networks参考文献 25被引用数 32

ひとこと要約

データから事前に項を指定せずに支配的な微分方程式を発見する方法で、微分可能なデータモデルと演算子の遺伝的プログラミンググラフを用い、ベイズ校正とアクティブ・ラーニングのデモンストレーションを合成データと超音波データで示す。

ABSTRACT

We present a method of discovering governing differential equations from data without the need to specify a priori the terms to appear in the equation. The input to our method is a dataset (or ensemble of datasets) corresponding to a particular solution (or ensemble of particular solutions) of a differential equation. The output is a human-readable differential equation with parameters calibrated to the individual particular solutions provided. The key to our method is to learn differentiable models of the data that subsequently serve as inputs to a genetic programming algorithm in which graphs specify computation over arbitrary compositions of functions, parameters, and (potentially differential) operators on functions. Differential operators are composed and evaluated using recursive application of automatic differentiation, allowing our algorithm to explore arbitrary compositions of operators without the need for human intervention. We also demonstrate an active learning process to identify and remedy deficiencies in the proposed governing equations.

研究の動機と目的

• abundant data を前提とせずに、 governing laws の自動発見を促進する。
• 代数演算子および微分演算子を組み合わせて方程式を形成する、微分可能な演算子グラフベースの探索を開発する。
• Bayesian 推論による方程式パラメータの校正。
• 合成微分方程式と実世界の超音波データセットでの頑健性を示す。
• 発見された法則を既存の物理情報付きおよび解析的ワークフローと統合する道筋を提供する。

提案手法

• 各データ成分に対して微分可能なモデル（ニューラルネットまたはガウス過程）を適合させ、滑らかな関数表現を得る。
• 葉ノードが適合したモデル、内部ノードが代数・微分演算子のライブラリから取られた演算子であるグラフとして、微分方程式候補を構築する。
• 自動微分を用いて演算子を計算し、領域内の任意の点 x に対する残差 r(x) を評価する。
• 証拠対数下界（ELBO）を適合度として用い、遺伝的プログラミングアルゴリズムによって方程式グラフを生成・ランク付けする。
• ブラックボックス変分推論（ベイズ）を用いて葉ノードの定数を表すパラメータ θ を校正する。
• 任意で、適合度改善指標 a(x) を最大化する新しいデータを選択して、発見された方程式を反復的に洗練させるアクティブ・ラーニングを有効にする。

実験結果

リサーチクエスチョン

• RQ1 候補項を事前に指定せずに、自由形式の微分方程式をデータから発見できるか。
• RQ2 演算子と微分可能モデルのグラフベースの組み合わせは、合成ベンチマークから既知の微分方程式をどの程度回復できるか。
• RQ3 発見された方程式の未知パラメータを個別のデータ実験に適合させることができるか。
• RQ4 アクティブ・ラーニングは追加データによって支配法則の発見を改善するのに有効か。
• RQ5 実世界データ（例：超音波）に対する方法の性能は、純粋に合成ベンチマークと比較してどうか。

主な発見

• データ駆動の演算子グラフアプローチを用いて、ODEやPDEを含む複数のベンチマーク微分方程式を成功裡に発見。
• 手法は正しい支配構造を回復し、個々のデータインスタンスの係数を校正できる。
• ガウス過程モデルはニューラルネットよりも勾配情報の信頼性が高く、演算子の組み立てを正確に補助した。
• 適応サンプリングとELBOベースの適合度が、より少ないサンプルで正しい方程式へと進化検索を導く。
• 超音波データに適用したところ、波動方程式の補正項として妥当な項を得られ、パラメータの後方分布を定量化した。
• この枠組みは、従来のモデリングおよび物理情報付き手法と互換性のある、人間が読める成分付き微分方程式を生み出す。