[论文解读] Offline Learning of Counterfactual Perception as Prediction for Real-World Robotic Reinforcement Learning.

Jun Jin, Daniel Graves+3 more|arXiv (Cornell University)|Nov 11, 2020

Embodied and Extended Cognition参考文献 52被引用 9

一句话总结

本文提出了一种离线学习反事实视觉预测的方法——回答“如果我继续执行这个动作会怎样？”——以实现高效的真实世界机器人强化学习。通过将这些预测与稀疏的终端奖励以及在线感官反馈相结合，该方法在无需手工设计的感知或校准系统的情况下，实现了高样本效率的操作。

ABSTRACT

We propose a method for offline learning of counterfactual predictions to address real world robotic reinforcement learning challenges. The proposed method encodes action-oriented visual observations as several what questions learned offline from prior experience using reinforcement learning methods. These what questions counterfactually predict how action-conditioned observation would evolve on multiple temporal scales if the agent were to stick to its current action. We show that combining these offline counterfactual predictions along with online in-situ observations (e.g. force feedback) allows efficient policy learning with only a sparse terminal (success/failure) reward. We argue that the learned predictions form an effective representation of the visual task, and guide the online exploration towards high-potential success interactions (e.g. contact-rich regions). Experiments were conducted in both simulation and real-world scenarios for evaluation. Our results demonstrate that it is practical to train a reinforcement learning agent to perform real-world fine manipulation in about half a day, without hand engineered perception systems or calibrated instrumentation. Recordings of the real robot training can be found via this https URL.

研究动机与目标

• 解决由于稀疏终端奖励导致的真实世界机器人强化学习样本效率低下的挑战。
• 在无需依赖校准仪器或手工设计的感知系统的情况下，实现实世界设置下的高效在线策略学习。
• 通过从离线经验中进行反事实推理，学习任务动态的结构化视觉表征。
• 利用离线预测引导在线探索，聚焦于高潜力交互区域（例如接触丰富的区域）。

提出的方法

• 训练一个基于视觉的模型，通过在多个时间尺度上预测动作持续作用下的未来视觉观测，来回答“如果我继续这个动作会怎样？”。
• 使用离线强化学习在历史经验上预训练该模型，学习从动作条件观测生成反事实预测。
• 将智能体的视觉状态表示为一组学习到的“什么”问题，以在不执行动作的情况下模拟动作轨迹。
• 将在线现场观测（例如力反馈）与离线反事实预测相结合，以指导实时策略更新。
• 将反事实预测与稀疏终端奖励结合，以塑造策略梯度并提高样本效率。
• 利用预测的视觉动态作为先验，将探索聚焦于动作可能带来任务成功区域。

实验结果

研究问题

• RQ1 离线反事实视觉动态预测是否能提升真实世界机器人强化学习中的样本效率？
• RQ2 在复杂操作任务中，反事实预测在多大程度上可以替代手工设计的感知系统？
• RQ3 离线预测与在线感官反馈的结合，在仅依赖稀疏终端奖励的情况下，对引导探索的有效性如何？
• RQ4 该方法是否能在无需校准传感器或任务特定特征工程的情况下泛化至真实世界操作任务？

主要发现

• 该方法仅使用稀疏终端奖励，在约半天的训练时间内即成功实现了真实世界机器人操作。
• 离线反事实预测显著提升了样本效率，通过引导探索聚焦于高潜力交互区域。
• 该方法在无需手工设计感知系统或校准仪器的情况下实现了有效的策略学习。
• 仿真和真实世界环境中的实验结果证实了该方法在接触丰富操作任务中的实用性和鲁棒性。