[论文解读] A Survey on Physics Informed Reinforcement Learning: Review and Open Problems

Chayan Banerjee, Kien Nguyen+2 more|arXiv (Cornell University)|Sep 5, 2023

Muscle activation and electromyography studies被引用 4

一句话总结

本文对物理信息强化学习（PIRL）进行了全面综述，提出了一种新颖的分类法，根据物理先验的表示方式、融合策略和学习偏差对PIRL方法进行分类。文章回顾了最先进方法，识别了样本效率、安全性与基准测试方面的关键挑战，并提出了开放性问题，以指导未来研究，推动强化学习在数据效率、物理合理性及现实世界系统应用方面的进步。

ABSTRACT

The inclusion of physical information in machine learning frameworks has revolutionized many application areas. This involves enhancing the learning process by incorporating physical constraints and adhering to physical laws. In this work we explore their utility for reinforcement learning applications. We present a thorough review of the literature on incorporating physics information, as known as physics priors, in reinforcement learning approaches, commonly referred to as physics-informed reinforcement learning (PIRL). We introduce a novel taxonomy with the reinforcement learning pipeline as the backbone to classify existing works, compare and contrast them, and derive crucial insights. Existing works are analyzed with regard to the representation/ form of the governing physics modeled for integration, their specific contribution to the typical reinforcement learning architecture, and their connection to the underlying reinforcement learning pipeline stages. We also identify core learning architectures and physics incorporation biases (i.e., observational, inductive and learning) of existing PIRL approaches and use them to further categorize the works for better understanding and adaptation. By providing a comprehensive perspective on the implementation of the physics-informed capability, the taxonomy presents a cohesive approach to PIRL. It identifies the areas where this approach has been applied, as well as the gaps and opportunities that exist. Additionally, the taxonomy sheds light on unresolved issues and challenges, which can guide future research. This nascent field holds great potential for enhancing reinforcement learning algorithms by increasing their physical plausibility, precision, data efficiency, and applicability in real-world scenarios.

研究动机与目标

• 为应对将物理定律融入强化学习以提升样本效率、泛化能力与现实世界适用性的日益增长的需求。
• 识别并系统化归纳物理先验在强化学习流程中被整合的多样化方式，包括观测性、归纳性及基于学习的偏差。
• 基于物理表示、融合策略与学习架构，提供统一的PIRL方法分类体系。
• 突出未解决的挑战，如高维状态空间、不确定环境中的安全探索，以及缺乏标准化基准。
• 通过识别PIRL中的开放性问题与机遇，尤其在模型无关的安全性与广义物理信息学习方面，引导未来研究。

提出的方法

• 提出一种新颖的分类法，以强化学习流程为框架，沿三个维度对PIRL方法进行分类：物理先验类型、表示形式与融合策略。
• 根据三种物理信息整合偏差对PIRL方法进行分类：观测性（例如，将物理约束作为监督信号）、归纳性（例如，将物理知识嵌入网络架构）与基于学习的（例如，使用物理一致性损失函数进行训练）。
• 采用统一符号与功能图，回顾最先进PIRL方法，以比较其架构、物理信息融合方式与训练流程。
• 分析物理信息世界模型、奖励函数与屏障证书（如数据驱动的CBF）在提升仿真到现实的迁移能力与安全探索方面的应用。
• 评估现有PIRL中使用的基准与训练环境，包括定制仿真器、PyBullet、MATLAB-Simulink以及基于MOCAP的平台。
• 通过强调缺乏标准化、开源基准，揭示评估中的缺口，阻碍了不同PIRL算法之间的公平比较。

Figure 2 : Agent-environment framework, of RL paradigm. Here the reward generating function and the system/ plant is abstracted as the environment. And the control policy (e.g. a DNN) and the learning algorithm, forms the RL agent.

实验结果

研究问题

• RQ1 如何系统性地对物理先验进行分类并将其整合进强化学习流程，以提升学习效率与物理合理性？
• RQ2 观测性、归纳性与基于学习的物理信息整合策略中，哪一种占主导地位？它们在有效性与实现方式上存在哪些差异？
• RQ3 在高维连续控制任务中应用PIRL的关键挑战是什么？物理引导的表征学习如何缓解这些问题？
• RQ4 物理信息方法如何在系统模型不完善的情况下，确保在复杂且不确定环境中的安全探索？
• RQ5 为何PIRL领域缺乏标准化基准？统一的评估平台如何加速该领域的发展？

主要发现

• 过去六年间，PIRL相关论文数量呈指数级增长，表明该研究趋势持续上升，物理信息方法日益受到关注。
• 物理信息世界模型与奖励函数显著提升了样本效率与仿真到现实的迁移能力，减少了对昂贵真实世界训练的依赖。
• 基于物理约束的数据驱动屏障证书可实现更安全的探索，但其在不同任务间的泛化能力仍有限。
• 在高维空间中，物理引导的特征提取可提升表征学习效果，但学习具有物理意义的低维表示仍是开放挑战。
• 缺乏标准化基准与评估平台，阻碍了不同领域中PIRL方法的公平比较与可复现性。
• 当前PIRL方法高度依赖具体任务，且需要大量领域专业知识，凸显了发展广义、模型无关的物理整合框架的迫切需求。

Figure 3 : Typical RL architectures, based on model use and interaction with the environment.