[论文解读] Autonomous discovery of the goal space to learn a parameterized skill

Emilio Cartoni, Gianluca Baldassarre|arXiv (Cornell University)|May 19, 2018

Reinforcement Learning in Robotics参考文献 8被引用 11

一句话总结

该论文提出AGME算法，可在无任务空间先验知识的情况下，自主发现高维传感器空间（如摄像头图像）中可达成目标的流形。通过构建已发现目标的图结构，并主动探索具有高潜力的新目标区域，AGME即使在仅极小部分传感器空间包含可达成结果的情况下，也能实现高效的参数化技能学习，其性能优于现有方法（如技能试错法）在基于图像环境中的表现。

ABSTRACT

A parameterized skill is a mapping from multiple goals/task parameters to the policy parameters to accomplish them. Existing works in the literature show how a parameterized skill can be learned given a task space that defines all the possible achievable goals. In this work, we focus on tasks defined in terms of final states (goals), and we face on the challenge where the agent aims to autonomously acquire a parameterized skill to manipulate an initially unknown environment. In this case, the task space is not known a priori and the agent has to autonomously discover it. The agent may posit as a task space its whole sensory space (i.e. the space of all possible sensor readings) as the achievable goals will certainly be a subset of this space. However, the space of achievable goals may be a very tiny subspace in relation to the whole sensory space, thus directly using the sensor space as task space exposes the agent to the curse of dimensionality and makes existing autonomous skill acquisition algorithms inefficient. In this work we present an algorithm that actively discovers the manifold of the achievable goals within the sensor space. We validate the algorithm by employing it in multiple different simulated scenarios where the agent actions achieve different types of goals: moving a redundant arm, pushing an object, and changing the color of an object.

研究动机与目标

• 实现对高维传感器空间中可达成目标集合未知的环境下的自主开放式参数化技能学习。
• 克服高维传感器空间（如摄像头图像）中的维度灾难问题，其中仅有极小部分状态为可达成目标。
• 开发一种无需预定义任务参数或依赖完整传感器空间均匀采样的方法。
• 通过基于动态构建的已知目标图，聚焦于传感器空间中具有潜力的区域，实现有效探索与新目标的发现。
• 仅使用原始感官输入（如图像）作为目标空间，无需工程化的目标变量，实现鲁棒的参数化技能学习。

提出的方法

• 该算法在传感器空间中构建已发现目标的图表示，其中节点代表已实现的结果，边代表它们之间的接近程度。
• 采用非参数方法，避免在探索过程中依赖回归器，转而使用k近邻检索新目标的策略。
• 通过测量已知目标到未探索区域的距离来引导探索，优先选择具有高潜力发现新有效目标的区域。
• 通过从已知目标出发并向外主动扩展，避免对完整传感器空间进行采样。
• 利用可达成目标的内在流形结构，以摆脱高维稀疏性，提升学习效率。
• 使用基于距离的成功度量标准评估性能，衡量代理在容差阈值内实现请求目标的频率。

实验结果

研究问题

• RQ1 代理是否能无需任务空间先验知识，自主发现高维传感器空间中可达成目标的流形？
• RQ2 在仅极小部分状态为可达成目标的传感器空间中，如何高效引导探索？
• RQ3 能否仅使用原始感官输入（如图像）作为目标空间，无需预定义目标变量，有效学习参数化技能？
• RQ4 与现有方法（如技能试错法）相比，该方法在基于图像环境中的探索效率和成功率如何？
• RQ5 该算法在无需任务特定修改的情况下，对不同类型目标和策略的泛化能力如何？

主要发现

• AGME成功在高维传感器空间（如摄像头图像）中发现可达成目标的流形，且无需任务空间的先验知识。
• 即使传感器空间极为高维（如320x240图像达80000余维），AGME的性能仍可与使用预定义任务特定目标空间的方法相媲美。
• 在机械臂操作、推动物体及颜色变化任务的实验中，AGME在基于图像的设置中优于技能试错法，后者因在高维空间中探索效率低下而失败。
• 该方法通过聚焦于可达成目标的内在结构而非采样完整传感器空间，避免了维度灾难。
• AGME基于图的探索策略通过优先选择高潜力区域，有效发现新目标，减少在不可达状态上的无效探索。
• 该方法的非参数特性使其能使用k近邻进行策略检索，避免在学习初期依赖不准确的回归器。