[论文解读] Instabilities of Offline RL with Pre-Trained Neural Representation

Ruosong Wang, Yifan Wu+2 more|arXiv (Cornell University)|Mar 8, 2021

Formal Methods in Verification参考文献 47被引用 6

一句话总结

本文研究了使用预训练神经表征的离线强化学习（RL）的稳定性，表明即使使用强大的特征，中等程度的分布偏移下仍会发生显著的误差放大。尽管表征能力强大，Fitted-Q Iteration（FQI）在出现最小程度分布偏移时即无法泛化，表明样本高效的离线RL需要比监督学习充分的更强表征条件。

ABSTRACT

In offline reinforcement learning (RL), we seek to utilize offline data to evaluate (or learn) policies in scenarios where the data are collected from a distribution that substantially differs from that of the target policy to be evaluated. Recent theoretical advances have shown that such sample-efficient offline RL is indeed possible provided certain strong representational conditions hold, else there are lower bounds exhibiting exponential error amplification (in the problem horizon) unless the data collection distribution has only a mild distribution shift relative to the target policy. This work studies these issues from an empirical perspective to gauge how stable offline RL methods are. In particular, our methodology explores these ideas when using features from pre-trained neural networks, in the hope that these representations are powerful enough to permit sample efficient offline RL. Through extensive experiments on a range of tasks, we see that substantial error amplification does occur even when using such pre-trained representations (trained on the same task itself); we find offline RL is stable only under extremely mild distribution shift. The implications of these results, both from a theoretical and an empirical perspective, are that successful offline RL (where we seek to go beyond the low distribution shift regime) requires substantially stronger conditions beyond those which suffice for successful supervised learning.

研究动机与目标

• 通过实证评估在使用预训练神经表征时，离线RL方法的稳定性。
• 探究预训练获得的强大表征是否能缓解分布偏移下的误差放大。
• 评估当数据分布与目标策略显著不同时，离线RL的实际限制。
• 在相同预训练特征下，比较不同数据收集策略（随机策略、低性能策略）下的性能表现。
• 确定正则化和数据混合策略是否能提升离线RL的稳定性。

提出的方法

• 作者在六个OpenAI Gym环境中使用Fitted-Q Iteration（FQI）结合预训练神经网络的特征进行函数逼近。
• 通过将目标策略轨迹与随机策略或低性能策略轨迹相结合，构建离线数据集以模拟分布偏移。
• 该方法采用正则化最小二乘回归来通过FQI更新估计Q值：$\hat{\theta} = (\Phi^T \Phi + \lambda I)^{-1} \Phi^T r$。
• 性能通过价值函数估计的均方误差（MSE）进行评估，结果在五个随机种子上取平均。
• 实验通过调整随机策略轨迹的比例和正则化超参数$\lambda$，研究其对稳定性的影响。
• 额外消融实验使用随机傅里叶特征作为基线，以比较泛化行为。

实验结果

研究问题

• RQ1 在中等程度分布偏移下，预训练神经表征能否稳定离线RL？
• RQ2 当数据分布偏离目标策略时，FQI的性能如何退化？
• RQ3 增加随机策略轨迹的比例是否会改善或恶化离线RL中的泛化性能？
• RQ4 在使用预训练特征的离线RL中，正则化在多大程度上能缓解误差放大？
• RQ5 在分布偏移下，预训练特征与随机傅里叶特征在稳定性方面有何差异？

主要发现

• 即使使用预训练神经表征，当数据分布偏离目标策略时，FQI仍表现出显著的误差放大，表明在中等程度分布偏移下存在不稳定性。
• 在Ant-v2环境中，MSE从基线的44.03 ± 8.98提升至添加2倍随机轨迹后的72.80 ± 16.87，但稳定性仍极差。
• 在Hopper-v2环境中，MSE从2.18 ± 1.14上升至16.86 ± 2.84（添加2倍随机轨迹），表明在分布偏移下误差显著增长。
• 添加随机轨迹始终恶化泛化性能，表明数据多样性本身不足以稳定离线RL。
• 使用$\lambda$进行正则化对稳定化方法的作用有限，尤其在Ant-v2和Walker2d-v2等高维环境中更为明显。
• 使用预训练特征的LSTD也表现出类似的不稳定性模式，MSE在Ant-v2上从44.03 ± 8.98上升至72.80 ± 16.87，证实了该趋势在不同方法间的一致性。