[论文解读] Deconstructing the Inductive Biases of Hamiltonian Neural Networks

Nate Gruver, Marc Finzi+2 more|arXiv (Cornell University)|Feb 10, 2022

Model Reduction and Neural Networks被引用 14

一句话总结

该论文对哈密顿神经网络（HNNs）进行了剖析，揭示其优越泛化能力并非源于能量守恒或辛结构，而是源于对加速度的隐式二阶偏差建模。通过仅隔离并应用这一二阶结构至神经ODE（NODE + SO），该方法在保守与非保守系统上均优于HNNs，包括复杂的MuJoCo环境，同时更加简洁且计算效率更高。

ABSTRACT

Physics-inspired neural networks (NNs), such as Hamiltonian or Lagrangian NNs, dramatically outperform other learned dynamics models by leveraging strong inductive biases. These models, however, are challenging to apply to many real world systems, such as those that don't conserve energy or contain contacts, a common setting for robotics and reinforcement learning. In this paper, we examine the inductive biases that make physics-inspired models successful in practice. We show that, contrary to conventional wisdom, the improved generalization of HNNs is the result of modeling acceleration directly and avoiding artificial complexity from the coordinate system, rather than symplectic structure or energy conservation. We show that by relaxing the inductive biases of these models, we can match or exceed performance on energy-conserving systems while dramatically improving performance on practical, non-conservative systems. We extend this approach to constructing transition models for common Mujoco environments, showing that our model can appropriately balance inductive biases with the flexibility required for model-based control.

研究动机与目标

• 识别哈密顿神经网络（HNNs）中对其强大泛化性能至关重要的归纳偏置。
• 挑战传统观点，即认为辛结构或能量守恒是HNN成功的主要原因。
• 开发一种简化模型，在保留HNNs性能优势的同时，适用于非保守、现实世界系统（如机器人控制环境）。
• 在复杂的MuJoCo运动任务上评估所提方法，这些任务中HNNs传统上表现不佳。
• 证明移除不必要的归纳偏置可提升基于模型的强化学习中的泛化能力与计算效率。

提出的方法

• 将HNNs分解为四种核心归纳偏置：ODE公式、二阶结构、能量守恒与辛性。
• 系统性地消融每一项归纳偏置，以隔离二阶结构对模型性能的贡献。
• 构建一种改进的神经ODE（NODE + SO），通过显式建模速度变化来直接表示加速度，同时不强制要求能量守恒或辛性。
• 在玩具系统（如阻尼摆）和复杂MuJoCo环境中训练并评估NODE + SO模型。
• 使用轨迹预测的L2损失，基于多个随机种子，与标准NODE、HNNs及SymODENs进行性能比较。
• 采用固定步长的ODE积分，以确保NODE基线模型能代表标准基于模型的强化学习模型。

实验结果

研究问题

• RQ1 HNNs中哪项归纳偏置是其相对于标准神经ODE实现泛化能力提升的主要原因？
• RQ2 能量守恒或辛结构是否显著贡献于HNNs在非保守系统上的性能表现？
• RQ3 能否设计一种仅保留二阶结构的简化模型，在保守与非保守动力系统上均优于HNNs？
• RQ4 在基于模型强化学习中常用的复杂MuJoCo控制环境中，HNNs与NODE + SO的性能如何比较？
• RQ5 在实际机器人应用中，移除如能量守恒等强归纳偏置，是否能带来更好的泛化能力与可扩展性？

主要发现

• HNNs泛化能力提升的主要来源是隐式的二阶偏差——即通过速度变化建模加速度，而非能量守恒或辛结构。
• 在能量守恒系统（如无阻尼摆）中，NODE + SO的性能与HNNs相当或更优；而在非保守系统（如阻尼摆）中，其性能显著优于HNNs。
• 在MuJoCo环境中，HNNs的表现劣于标准NODEs和NODE + SO，表明哈密顿偏置在复杂非保守系统中会阻碍训练与泛化。
• 在所有评估的MuJoCo任务中，NODE + SO模型的性能均优于HNNs，且误差更低、样本效率更高，表明更强的归纳偏置并不总是更优。
• 消融研究证实，当保留二阶结构时，即使移除能量守恒与辛性，保守系统上的性能也不会下降。
• 该方法在计算效率上优于HNNs与SymODENs，NODE + SO仅用极少参数与计算量，即可实现相当或更优的结果。