[论文解读] Learning to Discretize: Solving 1D Scalar Conservation Laws via Deep Reinforcement Learning

Yufei Wang, Ziju Shen+2 more|arXiv (Cornell University)|May 27, 2019

Model Reduction and Neural Networks参考文献 44被引用 5

一句话总结

本文提出一种深度强化学习（DRL）框架，用于学习求解一维标量守恒律的自适应数值离散化方法，将求解过程建模为序列决策问题。该方法通过策略网络动态选择基于局部解状态的最优有限差分模板，相较于WENO格式以及L3D和PINNs等监督学习基线方法，在精度和泛化能力方面表现更优。

ABSTRACT

Conservation laws are considered to be fundamental laws of nature. It has broad applications in many fields, including physics, chemistry, biology, geology, and engineering. Solving the differential equations associated with conservation laws is a major branch in computational mathematics. The recent success of machine learning, especially deep learning in areas such as computer vision and natural language processing, has attracted a lot of attention from the community of computational mathematics and inspired many intriguing works in combining machine learning with traditional methods. In this paper, we are the first to view numerical PDE solvers as an MDP and to use (deep) RL to learn new solvers. As proof of concept, we focus on 1-dimensional scalar conservation laws. We deploy the machinery of deep reinforcement learning to train a policy network that can decide on how the numerical solutions should be approximated in a sequential and spatial-temporal adaptive manner. We will show that the problem of solving conservation laws can be naturally viewed as a sequential decision-making process, and the numerical schemes learned in such a way can easily enforce long-term accuracy. Furthermore, the learned policy network is carefully designed to determine a good local discrete approximation based on the current state of the solution, which essentially makes the proposed method a meta-learning approach. In other words, the proposed method is capable of learning how to discretize for a given situation mimicking human experts. Finally, we will provide details on how the policy network is trained, how well it performs compared with some state-of-the-art numerical solvers such as WENO schemes, and supervised learning based approach L3D and PINN, and how well it generalizes.

研究动机与目标

• 为解决设计高阶、自适应的一维标量守恒律数值求解器的挑战，平衡精度与鲁棒性。
• 克服依赖专家设计规则和启发式方法（如WENO格式中所用）的传统方法的局限性。
• 开发一种端到端学习框架，将离散化决策与长期解精度相结合，而非依赖监督预训练。
• 探究强化学习是否能够学习一种元学习策略，以模仿专家在数值通量选择中的决策行为。
• 评估在训练分布之外的多样化初始条件和方程设置（无黏性、黏性、外力项）下的泛化性能。

提出的方法

• 将数值求解过程建模为马尔可夫决策过程（MDP），其中每个时空步对应一个决策状态。
• 通过深度强化学习训练策略网络，基于局部解特征选择最优有限差分模板（通量近似）。
• 动作空间编码了数值通量方案的离散选择，奖励函数被设计为鼓励长期精度和稳定性。
• 该方法采用元学习设计，使策略能够根据当前解状态自适应调整离散化策略，模拟专家行为。
• DRL智能体通过惩罚随时间累积误差的奖励函数进行训练，以促进长时序精度。
• 该框架在具有不同初始条件和外力项的黏性和无黏性Burgers方程上进行了评估。

实验结果

研究问题

• RQ1 一维标量守恒律的求解过程是否可自然地建模为适合强化学习的序列决策问题？
• RQ2 深度强化学习智能体是否能够学习一种自适应的数值通量策略，其精度高于固定高阶格式（如WENO）？
• RQ3 所学习的基于强化学习的求解器是否在分布外测试案例中泛化能力优于监督学习方法（如L3D、PINNs）？
• RQ4 DRL智能体是否能够学习一种元学习策略，基于局部解特征选择离散化策略，从而模仿专家知识？
• RQ5 在不同PDE设置下，基于强化学习的求解器在长期精度和鲁棒性方面表现如何？

主要发现

• 基于强化学习的求解器（命名为RL-WENO）在所有测试设置下（包括黏性和无黏性Burgers方程）的相对误差均低于WENO。
• 在Δx = 0.02且η = 0.01的黏性Burgers方程设置下，RL-WENO的相对误差为1.64（±0.57），优于WENO的1.94（±0.55）。
• 在外力项测试设置下，RL-WENO泛化良好，在Δx = 0.01时达到4.66（±0.72）的相对误差，优于WENO的4.74（±0.70）。
• RL-WENO策略在未见过的设置中表现出有效泛化：在黏性设置上训练后，在无黏性测试案例中达到1.01（±0.19）的误差，优于WENO的1.02（±0.27）。
• 与L3D和PINNs不同，后者在分布偏移下出现无法泛化或数值发散的情况，RL-WENO在各种测试配置中均保持稳定且高精度的表现。
• 该方法展现出强大的分布外泛化能力，在无黏性、黏性和外力设置下均保持一致的性能，表明其策略学习具有鲁棒性。