[论文解读] AffordanceNet: An End-to-End Deep Learning Approach for Object Affordance Detection

Thanh-Toan Do, Anh‐Tu Nguyen+1 more|arXiv (Cornell University)|Sep 21, 2017

Robot Manipulation and Learning参考文献 24被引用 27

一句话总结

AffordanceNet 是一种端到端的深度学习框架，通过共享的卷积主干网络与两个分支（一个用于目标检测，一个用于多类别可操作性分割）联合检测物体及其像素级可操作性。它在公共数据集上实现了最先进性能，单张图像推理速度为150ms，通过转置卷积上采样、鲁棒的缩放策略以及多任务损失函数，实现了实时机器人应用。

ABSTRACT

We propose AffordanceNet, a new deep learning approach to simultaneously detect multiple objects and their affordances from RGB images. Our AffordanceNet has two branches: an object detection branch to localize and classify the object, and an affordance detection branch to assign each pixel in the object to its most probable affordance label. The proposed framework employs three key components for effectively handling the multiclass problem in the affordance mask: a sequence of deconvolutional layers, a robust resizing strategy, and a multi-task loss function. The experimental results on the public datasets show that our AffordanceNet outperforms recent state-of-the-art methods by a fair margin, while its end-to-end architecture allows the inference at the speed of 150ms per image. This makes our AffordanceNet well suitable for real-time robotic applications. Furthermore, we demonstrate the effectiveness of AffordanceNet in different testing environments and in real robotic applications. The source code is available at https://github.com/nqanh/affordance-net

研究动机与目标

• 开发一种实时、端到端的深度学习系统，从RGB图像中联合检测物体及其可操作性。
• 解决多类别可操作性分割的挑战，即具有不同外观的不同物体部分可能共享相同的语义功能标签。
• 在无需人类交互数据的情况下，提升复杂且未见过的环境中的准确率与泛化能力。
• 通过确保快速推理（每张图像150ms），实现真实机器人系统中的实用化部署。
• 在模拟与真实世界机器人操作任务中均证明其有效性。

提出的方法

• 网络采用共享的卷积主干网络，后接两个并行分支：一个用于目标检测（边界框与类别标签），一个用于可操作性分割（像素级标签）。
• 一系列转置卷积层将可操作性特征图上采样至高分辨率，以保留空间细节，实现精确分割。
• 应用鲁棒的缩放策略，对齐不同尺度的特征图，提升特征一致性与分割准确率。
• 采用多任务损失函数，联合优化目标检测与可操作性分割，实现端到端训练并增强特征共享。
• 模型在IIT-AFF与UMD数据集上进行训练，使用交叉熵损失与边界框损失组件，最终可操作性图尺寸设定为244×244，以在准确率与计算成本之间取得最佳平衡。
• 通过高效网络结构设计加速推理，在单张GPU上实现每张图像150ms的推理速度。

实验结果

研究问题

• RQ1 端到端的深度学习框架能否在高准确率与实时性能下，同时检测物体及其可操作性？
• RQ2 与先前方法相比，转置卷积层、缩放策略与多任务损失在多类别可操作性分割中起到了何种提升作用？
• RQ3 该模型在控制数据集之外的真实世界与模拟环境中的泛化能力达到何种程度？
• RQ4 该系统能否在实际机器人操作任务（如倒液或抓取）中有效部署？
• RQ5 在准确率与计算效率之间平衡时，最优的可操作性图尺寸是多少？

主要发现

• AffordanceNet在IIT-AFF数据集上实现了最先进性能，相比近期方法，加权Fβ得分达到73.35。
• 模型实现150ms/张图像的实时推理，适用于在线机器人应用。
• 采用244×244的可操作性图在准确率与计算成本之间提供了最佳平衡，优于更小的图如14×14与28×28。
• 网络在多样化环境中泛化良好，包括艺术作品图像与Gazebo仿真环境，表现出对领域偏移的鲁棒性。
• 在WALK-MAN人形机器人上的机器人部署中，AffordanceNet通过提供准确的物体与可操作性定位，成功支持了倒液与抓取等任务。
• 消融实验表明，转置卷积层、鲁棒缩放策略与多任务损失是实现多类别可操作性检测高准确率的关键组件。