[论文解读] Deep Affordance Foresight: Planning Through What Can Be Done in the Future

Danfei Xu, Ajay Mandlekar+4 more|arXiv (Cornell University)|Nov 17, 2020

Robot Manipulation and Learning参考文献 53被引用 6

一句话总结

本文提出深度可及性预见（DAF），一种学习型规划框架，将经典可及性概念扩展至建模未来动作可行性，从而实现长时程机器人操作。通过从像素输入中学习潜在动力学模型与可及性预测器，DAF 能够以高成功率规划多步任务，在倒液和工具使用等复杂任务上优于先前方法。

ABSTRACT

Planning in realistic environments requires searching in large planning spaces. Affordances are a powerful concept to simplify this search, because they model what actions can be successful in a given situation. However, the classical notion of affordance is not suitable for long horizon planning because it only informs the robot about the immediate outcome of actions instead of what actions are best for achieving a long-term goal. In this paper, we introduce a new affordance representation that enables the robot to reason about the long-term effects of actions through modeling what actions are afforded in the future, thereby informing the robot the best actions to take next to achieve a task goal. Based on the new representation, we develop a learning-to-plan method, Deep Affordance Foresight (DAF), that learns partial environment models of affordances of parameterized motor skills through trial-and-error. We evaluate DAF on two challenging manipulation domains and show that it can effectively learn to carry out multi-step tasks, share learned affordance representations among different tasks, and learn to plan with high-dimensional image inputs. Additional material is available at https://sites.google.com/stanford.edu/daf

研究动机与目标

• 解决高维机器人环境中组合动作空间下的长时程规划挑战。
• 克服经典可及性仅建模即时动作可行性、忽略长期任务目标的局限性。
• 开发一种方法，不仅考虑当前最优动作，还考虑对未来任务达成的贡献。
• 实现从原始 RGB 观测端到端训练，以建模液体倾倒等复杂动力学。
• 通过在不同操作任务间共享与任务无关的可及性表征，促进迁移学习。

提出的方法

• 提出一种宽松的可及性定义，建模动作可行性而不必立即成功，转而关注动作执行后的未来可行性。
• 学习一个潜在动力学模型，以条件化方式预测执行技能计划后的未来潜在状态。
• 训练一个可及性预测模型，评估在当前和未来潜在状态下的动作可行性。
• 结合潜在动力学模型与可及性模型，选择能最大化任务目标达成可能性的多步计划。
• 使用 ResNet 编码器结合空间软最大值（Spatial-Softmax）与多层感知机（MLP）进行图像观测编码，实现从像素到端的端到端训练。
• 通过基于奖励的课程学习进行框架训练，支持环境模型的逐步构建。

Figure 1: We illustrate our method in a tool-use domain (left). Classical affordance models the immediate effects of actions. In this case, a graspable(tool) would only inform that the tool can be grasped and held. However, the two tasks shown on the right require the robot to grasp the tool differe

实验结果

研究问题

• RQ1 可及性表征能否被扩展以建模长期动作后果，从而提升多步任务的规划能力？
• RQ2 机器人如何学习选择不仅当前可行，且能为未来动作可行性与目标达成创造条件的动作？
• RQ3 单一的、与任务无关的可及性表征能否在多个任务间共享，以实现高效的迁移学习？
• RQ4 在原始图像输入上训练的模型在多大程度上能学习到如液体倾倒等复杂动力学以用于操作任务？
• RQ5 与现有潜在空间规划方法相比，该方法在复杂任务上的样本效率和成功率如何？

主要发现

• 在 1500 集合内，DAF 成功实现了 0.6 的成功率完成复杂的“获取咖啡”任务，显著优于 GC-PlaNet（其成功率稳定在 0.2 以下）。
• DAF 展现出较低的性能方差，在更简单的“获取茶”任务中保持高成功率，而 GC-PlaNet 表现出更高的不稳定性。
• 当从预训练的“获取茶”策略进行微调时，DAF 仅用 300 集就学会了“获取咖啡”任务，显示出强大的可迁移性。
• 相比之下，GC-PlaNet 在微调后未表现出显著改进，表明 DAF 的与任务无关可及性表征能有效实现知识迁移。
• DAF 有效学习了基于高维图像输入的规划，并成功建模了液体倾倒等复杂动力学，这些动力学难以通过人工定义实现。
• 该方法实现了从原始视觉观测中联合学习“获取茶”与“获取咖啡”任务，展示了在具有挑战性的操作领域中的鲁棒性与泛化能力。

Figure 2: Results on the jointly learning the two tool-use tasks shown in Fig. 1 and a combined tool-use + stack task, where the robot has to use the tool to get both cubes and stack them on the green target. We compare our method (DAF) and a goal-conditional variant of PlaNet [ 24 ] (GC-PlaNet).