[论文解读] Computational model discovery with reinforcement learning

Maxime Bassenne, Adrián Lozano-Durán|arXiv (Cornell University)|Dec 29, 2019

Model Reduction and Neural Networks参考文献 24被引用 9

一句话总结

该论文提出了一种强化学习框架 MDRL，通过将模型策略搜索从人类专家中卸载，以发现复杂物理系统的解析降阶模型。它使用一个学习到的模型生成器和基于积分量的后验评估，实现了在比随机搜索快几个数量级的速度下，精确恢复 Burgers 方程中缺失项的目标。

ABSTRACT

The motivation of this study is to leverage recent breakthroughs in artificial intelligence research to unlock novel solutions to important scientific problems encountered in computational science. To address the human intelligence limitations in discovering reduced-order models, we propose to supplement human thinking with artificial intelligence. Our three-pronged strategy consists of learning (i) models expressed in analytical form, (ii) which are evaluated a posteriori, and iii) using exclusively integral quantities from the reference solution as prior knowledge. In point (i), we pursue interpretable models expressed symbolically as opposed to black-box neural networks, the latter only being used during learning to efficiently parameterize the large search space of possible models. In point (ii), learned models are dynamically evaluated a posteriori in the computational solver instead of based on a priori information from preprocessed high-fidelity data, thereby accounting for the specificity of the solver at hand such as its numerics. Finally in point (iii), the exploration of new models is solely guided by predefined integral quantities, e.g., averaged quantities of engineering interest in Reynolds-averaged or large-eddy simulations (LES). We use a coupled deep reinforcement learning framework and computational solver to concurrently achieve these objectives. The combination of reinforcement learning with objectives (i), (ii) and (iii) differentiate our work from previous modeling attempts based on machine learning. In this report, we provide a high-level description of the model discovery framework with reinforcement learning. The method is detailed for the application of discovering missing terms in differential equations. An elementary instantiation of the method is described that discovers missing terms in the Burgers' equation.

研究动机与目标

• 通过自动化搜索最优模型策略，减少计算模型发现中的主观偏见。
• 开发一种能够发现可解释、解析模型而非黑箱神经网络的方法。
• 在实际计算求解器中动态评估模型，以考虑数值效应。
• 仅使用积分或平均数据引导模型发现，从而能够利用稀疏的实验测量数据。
• 与随机搜索相比，加速发现微分方程中缺失项的过程。

提出的方法

• 一个深度强化学习智能体学习使用参数化的概率分布生成符号数学表达式（模型）。
• 通过策略梯度方法训练模型生成器，以最大化基于模型在计算求解器中准确性的奖励信号。
• 模型在实际仿真环境中进行后验评估，而非基于预处理数据，从而确保数值保真度。
• 仅通过积分量（例如平均流量）注入先验知识，从而能够使用实验数据或粗尺度数据。
• 该框架与计算求解器集成，并使用计算图以支持可微分的模型生成与训练。
• 该方法结合符号表达式生成与强化学习，以高效探索大规模模型空间。

实验结果

研究问题

• RQ1 强化学习是否能够在无须人工干预的情况下，发现微分方程中缺失项的精确解析形式？
• RQ2 MDRL 框架在收敛速度和计算成本方面与随机搜索相比表现如何？
• RQ3 该方法是否能有效仅使用积分或平均数据作为先验知识，从而实现与稀疏实验测量数据的集成？
• RQ4 该框架在在多大程度上能够学习到既准确又可解释的模型，避免使用黑箱神经网络？
• RQ5 该方法是否可推广至流体动力学以外的其他科学与工程建模问题？

主要发现

• MDRL 框架通过学习成功恢复了 Burgers 方程中缺失项的精确解析形式，$ M = -\frac{1}{2} u \frac{\partial u}{\partial x} $。
• 该方法在远少于随机搜索所需的迭代次数内实现了精确解的恢复，后者需要超过 $ \mathcal{O}(10^9) $ 次迭代才能成功。
• 强化学习智能体学会了识别有用的数学模式，与均匀随机采样相比，显著缩小了搜索空间。
• 该方法仅需使用积分或平均数据作为先验知识，使其与实验测量数据和大涡模拟数据兼容。
• 在模型发现的计算效率方面，该框架相比随机搜索提升了多个数量级。
• 该方法展示了在计算科学中发现可解释、基于物理的模型的可行性，具有在流体动力学以外更广泛应用的潜力。