[论文解读] Dynamical Distance Learning for Semi-Supervised and Unsupervised Skill Discovery

Kristian Hartikainen, Xinyang Geng+2 more|arXiv (Cornell University)|Jul 18, 2019

Reinforcement Learning in Robotics被引用 9

一句话总结

该论文提出动态距离学习（Dynamical Distance Learning, DDL），一种通过自收集经验进行监督回归来学习距离函数的方法，用于衡量从任意状态到达目标状态的预期时间步数。该方法可在无需奖励函数的情况下，实现高效、奖励无关的技能发现，适用于半监督（使用10个偏好标签）和无监督设置，并在真实世界中实现了9-DoF灵巧操作（如阀门旋转），仅使用原始图像输入，无需人工设计奖励函数。

ABSTRACT

Reinforcement learning requires manual specification of a reward function to learn a task. While in principle this reward function only needs to specify the task goal, in practice reinforcement learning can be very time-consuming or even infeasible unless the reward function is shaped so as to provide a smooth gradient towards a successful outcome. This shaping is difficult to specify by hand, particularly when the task is learned from raw observations, such as images. In this paper, we study how we can automatically learn dynamical distances: a measure of the expected number of time steps to reach a given goal state from any other state. These dynamical distances can be used to provide well-shaped reward functions for reaching new goals, making it possible to learn complex tasks efficiently. We show that dynamical distances can be used in a semi-supervised regime, where unsupervised interaction with the environment is used to learn the dynamical distances, while a small amount of preference supervision is used to determine the task goal, without any manually engineered reward function or goal examples. We evaluate our method both on a real-world robot and in simulation. We show that our method can learn to turn a valve with a real-world 9-DoF hand, using raw image observations and just ten preference labels, without any other supervision. Videos of the learned skills can be found on the project website: https://sites.google.com/view/dynamical-distance-learning.

研究动机与目标

• 解决深度强化学习中人工设计奖励函数这一主要挑战，特别是在基于视觉的机器人控制任务中。
• 克服启发式奖励函数设计的低效性和脆弱性，尤其是在使用原始图像观测时。
• 在无需示范、奖励函数或真实目标示例的情况下，实现半监督和无监督的技能发现。
• 开发一种可扩展、稳定的算法，适用于高维观测（如图像），并可与标准深度强化学习算法集成。
• 在极低人类监督条件下，展示该方法在真实世界机器人学习中的有效性。

提出的方法

• 通过在自监督交互中收集的轨迹进行监督回归，学习动态距离。
• 将预测到的目标距离作为形状奖励信号，用于标准深度强化学习算法，从而实现高效的策略学习。
• 在半监督设置中，利用人类提供的偏好标签识别目标状态，并指导距离学习。
• 在无监督设置中，选择动态距离最远的状态作为目标，以驱动探索和技能发现。
• 训练神经网络以预测从任意状态到达目标状态的预期步数，使用时序差分监督。
• 将学习到的距离函数集成到异策略强化学习算法（如SAC）中，实现样本高效的策略优化。

实验结果

研究问题

• RQ1 通过监督回归学习的动态距离是否能在复杂、高维环境中优于传统的基于值的方法（如Q-learning）？
• RQ2 少量人类偏好标签在多大程度上能够实现真实世界机器人操作任务中的有效技能获取？
• RQ3 基于动态距离最远状态引导的无监督探索，是否能无需任何监督发现多样化且复杂的运动技能？
• RQ4 与先前方法（如DIAYN）相比，DDL在无监督技能发现中表现如何，特别是在技能复杂性和可达性方面？
• RQ5 DDL是否能够仅使用原始图像观测和极少的人类反馈，在真实世界中实现复杂灵巧操作任务的学习？

主要发现

• 半监督DDL变体仅使用10个人工偏好标签和原始图像观测，在8小时内成功完成真实世界9-DoF机械手对180度阀门的旋转任务。
• 在除Hopper-v3外的所有任务中，DDL在学习速度和最终性能上均优于先前基于偏好的强化学习方法，展现出更高的样本效率。
• 在无监督技能发现中，DDLUS学习到的运动技能相比DIAYN能显著远离起点，且表现出多样化方向行为，表明技能复杂度更高。
• 该方法通过最大化对动态距离最远状态的可达性，无监督地解决了InvertedDoublePendulum-v2任务，有效避免了失败。
• 在高维观测空间中，DDL在学习目标条件策略方面优于近似动态规划方法（如Q-learning），表现更优。
• 该方法对高维输入（如图像）具有鲁棒性，可直接用于真实世界部署，无需人工奖励工程或示范。