[论文解读] A General Framework for Structured Learning of Mechanical Systems

Jayesh K. Gupta, Kunal Menda+2 more|arXiv (Cornell University)|Feb 22, 2019

Model Reduction and Neural Networks参考文献 24被引用 15

一句话总结

该论文提出了一种用于机械系统的灰盒学习框架，通过神经网络参数化拉格朗日函数和广义力，实现对先验知识的结构化整合，从而降低偏差和方差。与朴素的黑盒模型相比，该方法在模拟双摆系统上的模型-强化学习任务中表现出更优的数据效率和性能。

ABSTRACT

Learning accurate dynamics models is necessary for optimal, compliant control of robotic systems. Current approaches to white-box modeling using analytic parameterizations, or black-box modeling using neural networks, can suffer from high bias or high variance. We address the need for a flexible, gray-box model of mechanical systems that can seamlessly incorporate prior knowledge where it is available, and train expressive function approximators where it is not. We propose to parameterize a mechanical system using neural networks to model its Lagrangian and the generalized forces that act on it. We test our method on a simulated, actuated double pendulum. We show that our method outperforms a naive, black-box model in terms of data-efficiency, as well as performance in model-based reinforcement learning. We also conduct a systematic study of our method's ability to incorporate available prior knowledge about the system to improve data efficiency.

研究动机与目标

• 通过结合先验知识与数据驱动的函数逼近，解决学习机械系统动力学中的偏差-方差权衡问题。
• 开发一种灵活、模块化的框架，支持将领域知识无缝集成到学习到的动力学模型中。
• 相较于朴素的黑盒方法，提升数据效率和基于模型的强化学习性能。
• 通过拉格朗日函数和广义力的结构化参数化，实现准确且物理一致的动力学建模。

提出的方法

• 使用神经网络参数化系统的拉格朗日函数和广义力，实现可微分的、受物理约束的学习。
• 利用欧拉-拉格朗日方程从学习到的拉格朗日函数和力中计算加速度，确保物理一致性。
• 通过基于梯度的优化方法进行模型训练，最小化状态和控制轨迹上的预测损失。
• 对假设类进行模块化设计，以支持选择性地应用先验知识（例如，控制仿射结构、力的类型）。
• 在接触丰富的环境中，使用变分积分器对非光滑动力学进行精确模拟。
• 采用基于模型的强化学习，结合轨迹优化（如 DIRCOL），评估样本效率和策略性能。

实验结果

研究问题

• RQ1 与朴素的黑盒模型相比，结构化的灰盒动力学学习方法是否能提升数据效率？
• RQ2 关于系统结构的先验知识（如控制仿射力、仅重力作用）在基于神经网络的动力学模型中能否被有效整合？
• RQ3 所提出的框架是否在基于模型的强化学习中优于端到端的黑盒建模方法？
• RQ4 与无约束的函数逼近相比，该模型的物理结构在多大程度上降低了方差？

主要发现

• MVB 参数化方法（结合了关于控制仿射力的先验知识）以最少的环境交互次数解决了基于模型的强化学习任务。
• MVF 参数化方法（假设无先验知识）虽成功解决了任务，但所需交互次数多于 MVB，表明结构化建模可提升样本效率。
• 朴素的黑盒模型由于泛化能力差且在状态空间中缺乏探索，未能在允许的时间框架内解决任务。
• 由于拉格朗日函数和力的参数化中编码了物理约束，所提方法的模型方差低于朴素的黑盒方法。
• 即使未引入先验知识，该方法在双摆系统上的数据效率和基于模型的强化学习性能仍优于朴素的黑盒学习方法。