[论文解读] Recognizing Object Affordances to Support Scene Reasoning for Manipulation Tasks

Fu-Jen Chu, Ruinian Xu+2 more|arXiv (Cornell University)|Sep 12, 2019

Robot Manipulation and Learning被引用 7

一句话总结

本文提出AffContext，一种无需依赖类别先验的类别无关性功能识别网络，通过自注意力机制与辅助功能属性预测，实现对未见物体类别的零样本泛化。该方法在功能分割任务中达到当前最优性能，并成功与符号规划结合，实现在真实世界实验中对未见物体的88%任务完成率。

ABSTRACT

Affordance information about a scene provides important clues as to what actions may be executed in pursuit of meeting a specified goal state. Thus, integrating affordance-based reasoning into symbolic action plannning pipelines would enhance the flexibility of robot manipulation. Unfortunately, the top performing affordance recognition methods use object category priors to boost the accuracy of affordance detection and segmentation. Object priors limit generalization to unknown object categories. This paper describes an affordance recognition pipeline based on a category-agnostic region proposal network for proposing instance regions of an image across categories. To guide affordance learning in the absence of category priors, the training process includes the auxiliary task of explicitly inferencing existing affordances within a proposal. Secondly, a self-attention mechanism trained to interpret each proposal learns to capture rich contextual dependencies through the region. Visual benchmarking shows that the trained network, called AffContext, reduces the performance gap between object-agnostic and object-informed affordance recognition. AffContext is linked to the Planning Domain Definition Language (PDDL) with an augmented state keeper for action planning across temporally spaced goal-oriented tasks. Manipulation experiments show that AffContext can successfully parse scene content to seed a symbolic planner problem specification, whose execution completes the target task. Additionally, task-oriented grasping for cutting and pounding actions demonstrate the exploitation of multiple affordances for a given object to complete specified tasks.

研究动机与目标

• 通过消除对物体类别先验的依赖，实现对新物体类别的零样本功能识别。
• 通过将类别信息与实例特征学习解耦，提升未见物体在功能分割中的泛化能力。
• 通过在区域提议中预测功能属性的辅助任务，增强在缺乏物体先验情况下的特征学习能力。
• 通过符合PDDL的态势保持器，将学习到的功能整合到符号规划中，实现面向目标的操作。
• 在涉及切割与敲打等多重新作功能的现实世界操作任务中评估该框架。

提出的方法

• 一种类别无关的区域提议网络在不依赖物体类别标签的情况下生成物体实例区域。
• 一个辅助属性预测头在每个区域提议内推断存在的功能，以指导特征学习。
• 自注意力机制捕捉每个实例区域内像素间的长距离上下文依赖，以提升分割精度。
• 网络通过多任务学习端到端训练：功能分割与功能属性预测。
• 将预测的功能映射到符合PDDL的态势保持器中，以实现与符号规划的集成。
• 在涉及顺序性、面向目标的行动的现实世界操作任务中评估该系统，采用基于功能的规划。

实验结果

研究问题

• RQ1 在不依赖物体类别先验的情况下，功能识别能否泛化到未见的物体类别？
• RQ2 在缺乏类别监督的情况下，辅助功能属性预测在多大程度上改善了特征学习？
• RQ3 在类别无关设置下，自注意力机制在多大程度上提升了功能分割性能？
• RQ4 AffContext的功能感知能否成功为复杂、面向目标的操作任务提供符号规划的种子？
• RQ5 感知-动作管道在真实世界执行中的性能如何退化？主要错误来源是什么？

主要发现

• AffContext在UMD数据集上采用新型类别分割评估协议，实现96%的功能识别准确率，优于先前最先进方法。
• 该框架在11项涉及未见物体类别的现实世界操作任务中，实现88%的任务完成率。
• 感知-动作管道性能下降11%（从94%的感知成功率降至83%的执行成功率），主要源于视觉推理模块的错误。
• 面向切割与敲打动作的任务导向抓取成功利用了每个物体的多个功能，验证了系统在复杂操作中的能力。
• 88%的任务完成率处于已发表文献中具身抓取与基于功能操作的性能上限范围内。
• 该系统成功通过PDDL将视觉功能感知与符号规划集成，实现了跨时序间隔任务的目标导向操作。