[论文解读] Multi-Agent Reinforcement Learning for Adaptive Mesh Refinement

Jiachen Yang, Ketan Mittal+6 more|arXiv (Cornell University)|Nov 2, 2022

BIM and Construction Integration被引用 4

一句话总结

本文将自适应网格加密（AMR）形式化为一个完全协作的马尔可夫博弈，其中每个网格单元作为独立智能体，采用一种新颖的深度多智能体强化学习算法——价值分解图网络（VDGN）。VDGN通过图神经网络和集中式训练、去中心化执行的机制，实现前瞻性的网格加密，显著优于基于阈值的方法，在全局误差和成本指标上表现更优，且在多种网格几何形状和模拟时长下具备良好的泛化能力。

ABSTRACT

Adaptive mesh refinement (AMR) is necessary for efficient finite element simulations of complex physical phenomenon, as it allocates limited computational budget based on the need for higher or lower resolution, which varies over space and time. We present a novel formulation of AMR as a fully-cooperative Markov game, in which each element is an independent agent who makes refinement and de-refinement choices based on local information. We design a novel deep multi-agent reinforcement learning (MARL) algorithm called Value Decomposition Graph Network (VDGN), which solves the two core challenges that AMR poses for MARL: posthumous credit assignment due to agent creation and deletion, and unstructured observations due to the diversity of mesh geometries. For the first time, we show that MARL enables anticipatory refinement of regions that will encounter complex features at future times, thereby unlocking entirely new regions of the error-cost objective landscape that are inaccessible by traditional methods based on local error estimators. Comprehensive experiments show that VDGN policies significantly outperform error threshold-based policies in global error and cost metrics. We show that learned policies generalize to test problems with physical features, mesh geometries, and longer simulation times that were not seen in training. We also extend VDGN with multi-objective optimization capabilities to find the Pareto front of the tradeoff between cost and error.

研究动机与目标

• 为解决时间依赖PDE中长期前瞻网格加密的挑战，传统局部误差估计器失效的问题。
• 克服AMR中因智能体在决策时已不存在而导致的‘死后归因’问题，即贡献于未来奖励的智能体在决策时刻已不复存在。
• 开发一种可扩展、可泛化的多智能体强化学习框架用于AMR，支持动态网格拓扑和任意几何形状。
• 直接通过强化学习优化解误差与计算成本之间的权衡。
• 证明多智能体强化学习可探索传统基于局部误差估计器的方法无法触及的误差-成本目标函数新区域。

提出的方法

• 将AMR形式化为完全协作的马尔可夫博弈，每个网格单元作为独立智能体，基于局部信息做出加密/去加密决策。
• 提出价值分解图网络（VDGN），一种利用图神经网络处理非结构化、变尺寸网格的深度多智能体强化学习算法。
• 采用集中式训练、去中心化执行（CTDE）机制，解决因智能体创建与删除引发的‘死后归因’问题。
• 使用图注意力机制实现远距离邻域信息聚合，使智能体能够预判未来解的特征。
• 应用价值分解技术，将全局价值函数分解为个体智能体的局部价值函数，实现协作策略学习。
• 扩展VDGN以支持多目标优化，从而在误差与计算成本之间寻找帕累托前沿。

实验结果

研究问题

• RQ1 多智能体强化学习能否有效应用于自适应网格加密，以实现对解未来特征的前瞻加密？
• RQ2 在AMR的多智能体强化学习框架中，如何解决因智能体创建与删除导致的‘死后归因’问题？
• RQ3 在一种网格几何形状和PDE特征类型上训练的多智能体强化学习策略，能否泛化到具有不同几何形状、特征和模拟长度的分布外测试案例？
• RQ4 多智能体强化学习在全局误差和计算成本方面是否优于传统的基于阈值的AMR策略？
• RQ5 VDGN能否发现传统基于局部误差估计器的方法无法触及的误差-成本目标函数新区域？

主要发现

• 在2500步模拟中，VDGN策略在误差-成本比方面相比最佳阈值策略提升1.47倍，而在较短的模拟中仅提升1.10倍，表明其在长期模拟中具有更优的稳定性。
• VDGN在包含2500个求解器步长的测试问题上保持高性能，即使数值误差已超出训练分布，表明其对长期误差传播具有鲁棒性。
• VDGN策略在分布外测试案例中表现出有效泛化能力，包括各向异性波、环形特征、反向运动波以及星形网格，且无需微调或重新训练。
• 在四边形单元上训练的策略可合理泛化至三角形单元，如定性结果所示，表明所学策略具有结构鲁棒性。
• 在16×16网格上训练的VDGN策略在部署至64×64网格时仍表现出合理的加密行为，证明其具备可扩展性与尺寸无关性。
• VDGN能够前瞻加密未来将包含复杂特征（如大梯度）的区域，而传统基于局部误差的方法无法实现此类预判。