[論文レビュー] Computational model discovery with reinforcement learning

Maxime Bassenne, Adrián Lozano-Durán|arXiv (Cornell University)|Dec 29, 2019

Model Reduction and Neural Networks参考文献 24被引用数 9

ひとこと要約

本論文は、複雑な物理系のための解析的低次元モデルを、人間の専門家からモデル戦略探索をオフロードすることで発見するための強化学習フレームワーク、MDRLを提案する。学習されたモデル生成器と、積分量を用いた事後評価を用い、ランダムサーチと比較して数個のオーダーも早い速度で、バーガース方程式における欠落項の正確な回復を達成した。

ABSTRACT

The motivation of this study is to leverage recent breakthroughs in artificial intelligence research to unlock novel solutions to important scientific problems encountered in computational science. To address the human intelligence limitations in discovering reduced-order models, we propose to supplement human thinking with artificial intelligence. Our three-pronged strategy consists of learning (i) models expressed in analytical form, (ii) which are evaluated a posteriori, and iii) using exclusively integral quantities from the reference solution as prior knowledge. In point (i), we pursue interpretable models expressed symbolically as opposed to black-box neural networks, the latter only being used during learning to efficiently parameterize the large search space of possible models. In point (ii), learned models are dynamically evaluated a posteriori in the computational solver instead of based on a priori information from preprocessed high-fidelity data, thereby accounting for the specificity of the solver at hand such as its numerics. Finally in point (iii), the exploration of new models is solely guided by predefined integral quantities, e.g., averaged quantities of engineering interest in Reynolds-averaged or large-eddy simulations (LES). We use a coupled deep reinforcement learning framework and computational solver to concurrently achieve these objectives. The combination of reinforcement learning with objectives (i), (ii) and (iii) differentiate our work from previous modeling attempts based on machine learning. In this report, we provide a high-level description of the model discovery framework with reinforcement learning. The method is detailed for the application of discovering missing terms in differential equations. An elementary instantiation of the method is described that discovers missing terms in the Burgers' equation.

研究の動機と目的

• 最適なモデル戦略の探索を自動化することで、計算モデル発見における人間のバイアスを低減すること。
• ブラックボックス型のニューラルネットワークではなく、解釈可能な解析的モデルを発見する手法を開発すること。
• 数値的効果を考慮した、実際の計算ソルバー内で動的にモデルを評価すること。
• 疎な実験的測定に適応できるように、積分量または平均化されたデータのみを用いてモデル発見をガイドすること。
• ランダムサーチと比較して、微分方程式における欠落項の発見を高速化すること。

提案手法

• 深層強化学習エージェントが、パラメータ化された確率分布を用いて、記号的数学的式（モデル）を生成する学習を行う。
• モデル生成器は、計算ソルバー内でのモデルの正確性に基づく報酬信号を最大化するように、方策勾配法により訓練される。
• モデルは、事前処理されたデータではなく、実際のシミュレーション環境で事後的に評価され、数値的整合性が保証される。
• 事前知識は、平均流量など積分量（例：平均流量）を通じてのみ組み込まれるため、実験的データや粗いスケールのデータの利用が可能になる。
• フレームワークは計算ソルバーと統合されており、計算グラフを用いることで、微分可能なモデル生成と訓練が可能になる。
• 記号的式の生成と強化学習を組み合わせることで、大規模なモデル空間を効率的に探索できる。

実験結果

リサーチクエスチョン

• RQ1 人間のバイアスなしに、強化学習が微分方程式における欠落項の正確な解析的形を発見できるか？
• RQ2 MDRLフレームワークの性能は、収束速度と計算コストの面でランダムサーチと比べてどうか？
• RQ3 積分量または平均化されたデータのみを事前知識として用いることで、本手法は疎な実験的測定と効果的に統合できるか？
• RQ4 本フレームワークは、ブラックボックス型のニューラルネットワークを避けることのできる、正確かつ解釈可能なモデルをどれだけ学習できるか？
• RQ5 本アプローチは、流体力学を越えて、他の科学的および工学的モデリング問題へ一般化可能か？

主な発見

• MDRLフレームワークは、バーガース方程式における欠落項の正確な解析的形 $ M = -\frac{1}{2} u \frac{\partial u}{\partial x} $ を学習によって回復した。
• ランダムサーチが成功するには $ \mathcal{O}(10^9) $ イタレーション以上を要するが、本手法ははるかに少ないイタレーション数で正確な解の回復を達成した。
• 強化学習エージェントは、一様なランダムサンプリングと比較して、著しく探索空間を縮小する有用な数学的パターンを学習した。
• 本手法は、積分量または平均化されたデータのみを事前知識として用いることができ、実験的測定や大渦模擬（LES）データと併用可能である。
• モデル発見の計算効率において、本フレームワークはランダムサーチを数個のオーダーも上回っている。
• 本手法は、計算科学分野における解釈可能な物理ベースのモデル発見の可能性を示しており、流体力学を越えた応用にも潜在的である。