[论文解读] Reinforcement Learning without Ground-Truth State

Xingyu Lin, Harjatin Singh Baweja+1 more|arXiv (Cornell University)|May 20, 2019

Reinforcement Learning in Robotics参考文献 4被引用 9

一句话总结

该论文提出了一种目标条件化的强化学习方法，直接从高维RGB-D观测中训练策略，无需依赖真实状态估计。通过使用仅在观测完全匹配时激活的指示性奖励，并结合目标重标记、奖励平衡和奖励过滤，该方法实现了与使用真实状态的最优方法相当的性能，能够在仿真和真实世界中完成复杂的操作任务，如绳子推动。

ABSTRACT

To perform robot manipulation tasks, a low-dimensional state of the environment typically needs to be estimated. However, designing a state estimator can sometimes be difficult, especially in environments with deformable objects. An alternative is to learn an end-to-end policy that maps directly from high-dimensional sensor inputs to actions. However, if this policy is trained with reinforcement learning, then without a state estimator, it is hard to specify a reward function based on high-dimensional observations. To meet this challenge, we propose a simple indicator reward function for goal-conditioned reinforcement learning: we only give a positive reward when the robot's observation exactly matches a target goal observation. We show that by relabeling the original goal with the achieved goal to obtain positive rewards (Andrychowicz et al., 2017), we can learn with the indicator reward function even in continuous state spaces. We propose two methods to further speed up convergence with indicator rewards: reward balancing and reward filtering. We show comparable performance between our method and an oracle which uses the ground-truth state for computing rewards. We show that our method can perform complex tasks in continuous state spaces such as rope manipulation from RGB-D images, without knowledge of the ground-truth state.

研究动机与目标

• 实现无需依赖真实状态估计的机器人操作端到端强化学习。
• 解决在高维观测空间中稀疏奖励与稀疏奖励塑造的挑战，特别是针对可变形物体。
• 开发一种仅基于原始观测运行的奖励函数，避免对额外传感器或具备真实状态的模拟器的依赖。
• 证明指示性奖励结合重标记与过滤可实现与使用真实状态的最优方法相当的性能。

提出的方法

• 提出一种指示性奖励函数，仅在当前观测与目标观测完全匹配时给予正奖励。
• 通过将原始目标替换为达成的观测来应用目标重标记，即使在连续状态空间中也能生成正奖励。
• 引入奖励平衡以缓解正负奖励之间的类别不平衡问题。
• 实施奖励过滤以抑制不确定或噪声较大的负奖励，提升训练稳定性。
• 使用标准的异策略算法（如DDPG）结合目标重标记进行训练。
• 采用无表示学习的方法——与先前使用自编码器或VAE的方法不同，奖励函数不从数据中学习。

实验结果

研究问题

• RQ1 仅基于观测匹配的指示性奖励函数是否能在无真实状态监督的连续状态空间中实现有效的策略学习？
• RQ2 目标重标记、奖励平衡与奖励过滤的组合如何提升稀疏奖励设置下的样本效率与收敛性？
• RQ3 当仅提供原始RGB-D观测时，该方法是否能实现与使用真实状态计算奖励的最优方法相当的性能？
• RQ4 该方法是否能泛化到涉及可变形物体（如绳子）的真实世界机器人操作任务中？
• RQ5 与基于表示的奖励学习方法（如VAE、DPN）相比，该方法在最终任务性能与鲁棒性方面表现如何？

主要发现

• 所提出的方法（Indicator+Balance+Filter）在仿真环境中实现了与使用真实状态的最优方法几乎完全相同的性能，包括复杂的RopePush任务。
• 在RopePush环境中，仅最优方法和所提方法成功学习到达到目标，而基于表示的基线方法（AE、VAE、DPN）因代理奖励利用而失败。
• 消融实验表明，奖励平衡与过滤均至关重要；任一移除均会显著降低性能。
• 该方法可泛化至真实世界：在Sawyer机器人上，仅使用RGB-D图像，其最终目标距离与最优方法相当。
• 理论分析表明，指示性奖励下的最优策略相对于真实奖励策略具有有界的次优性。
• 该方法优于基于表示的奖励学习基线方法，即使在策略训练时使用真实状态输入，后者也常因潜在空间中的虚假相关性而表现不佳。