[论文解读] Investigating Compounding Prediction Errors in Learned Dynamics Models

Nathan Lambert, Kristofer S. J. Pister+1 more|arXiv (Cornell University)|Mar 17, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

本文研究了模型基于强化学习（MBRL）中用于学习动力学模型的复合预测误差的根本原因。通过在模拟系统和真实世界系统中进行系统性实验，发现潜在系统动力学是影响长时域预测误差的主要因素，而模型架构和训练细节则起次要作用。其主要贡献在于一项基于数据的分析，表明不稳定的动力学主导了误差增长，为机器人学和控制领域设计更稳健的预测模型提供了可操作的见解。

ABSTRACT

Accurately predicting the consequences of agents' actions is a key prerequisite for planning in robotic control. Model-based reinforcement learning (MBRL) is one paradigm which relies on the iterative learning and prediction of state-action transitions to solve a task. Deep MBRL has become a popular candidate, using a neural network to learn a dynamics model that predicts with each pass from high-dimensional states to actions. These "one-step" predictions are known to become inaccurate over longer horizons of composed prediction - called the compounding error problem. Given the prevalence of the compounding error problem in MBRL and related fields of data-driven control, we set out to understand the properties of and conditions causing these long-horizon errors. In this paper, we explore the effects of subcomponents of a control problem on long term prediction error: including choosing a system, collecting data, and training a model. These detailed quantitative studies on simulated and real-world data show that the underlying dynamics of a system are the strongest factor determining the shape and magnitude of prediction error. Given a clearer understanding of compounding prediction error, researchers can implement new types of models beyond "one-step" that are more useful for control.

研究动机与目标

• 理解在模型基于强化学习（MBRL）中使用的单步学习动力学模型中复合预测误差的根本原因。
• 分离并量化系统动力学、数据分布和模型训练对长时域预测精度的影响。
• 通过识别对误差增长影响最大的系统和建模因素，为设计更优的预测模型提供可操作的见解。
• 挑战模型架构或训练超参数是误差主要驱动因素的假设，转而强调系统动力学是主导因素。

提出的方法

• 在具有不同动力学特性、噪声水平和维度的多个模拟和真实世界机器人系统中开展受控实验。
• 在一致条件下收集并评估数据，以隔离系统动力学与数据分布和模型训练的影响。
• 使用标准深度学习流程训练一系列单步动力学模型，包括确定性和概率性神经网络。
• 测量随预测时域（h）增加的预测误差，以分析误差复合行为。
• 对概率性模型使用基于期望的轨迹传播方法，以评估不确定性下的误差增长。
• 分析不同系统中的误差模式，以识别误差是线性增长、加速增长还是趋于平稳。

实验结果

研究问题

• RQ1 在学习动力学模型中，系统动力学、数据分布或模型训练中哪一个因素对复合预测误差的影响最为显著？
• RQ2 在不同类型系统中，预测误差的形状和大小如何随长时域演变？
• RQ3 系统噪声或维度的变化在多大程度上影响长期预测精度？
• RQ4 长时域预测中的误差增长是否会最终趋于平稳？如果是，在何种条件下会发生？
• RQ5 在特定系统环境下，简单模型（如线性模型或确定性网络）是否可能优于复杂模型？

主要发现

• 系统的潜在动力学是长时域预测误差的最强决定因素，不稳定的动力学会导致误差迅速复合。
• 即使数据和模型架构完全相同，具有固有不稳定动力学的系统也表现出显著高于稳定系统的误差增长。
• 预测误差通常在初始时域h后趋于平稳，表明在此之后误差增长减缓，尽管此时预测已不再适用于控制。
• 将系统噪声从中等水平降低至零，对预测精度的提升回报递减，表明噪声并非误差的主要来源。
• 简单模型（如线性模型和确定性神经网络）在低维系统中可作为强有力的基线模型。
• 与系统动力学的内在特性相比，模型选择和训练超参数的影响处于次要地位。