[论文解读] Act the Part: Learning Interaction Strategies for Articulated Object Part Discovery

Samir Yitzhak Gadre, Kiana Ehsani+1 more|arXiv (Cornell University)|May 3, 2021

Multimodal Machine Learning Applications参考文献 45被引用 7

一句话总结

Act the Part (AtP) 通过将动作选择与运动分割相结合，学习交互策略以发现并分割铰接式物体的部件，从而在无需微调的情况下实现在仿真环境和真实世界中对未见类别的零样本泛化。该方法利用视觉和触觉反馈来推理在何处以及如何推动，通过战略性物理交互实现可解释的条件推理和有效的部件发现。

ABSTRACT

People often use physical intuition when manipulating articulated objects, irrespective of object semantics. Motivated by this observation, we identify an important embodied task where an agent must play with objects to recover their parts. To this end, we introduce Act the Part (AtP) to learn how to interact with articulated objects to discover and segment their pieces. By coupling action selection and motion segmentation, AtP is able to isolate structures to make perceptual part recovery possible without semantic labels. Our experiments show AtP learns efficient strategies for part discovery, can generalize to unseen categories, and is capable of conditional reasoning for the task. Although trained in simulation, we show convincing transfer to real world data with no fine-tuning.

研究动机与目标

• 解决在缺乏语义标签或已知运动学结构的情况下发现铰接式物体部件的挑战。
• 学习能够暴露部件运动以实现感知分割的交互策略，而非依赖随机或启发式动作。
• 实现对未见物体类别及具有不同部件数和关节数的新配置的零样本泛化。
• 基于任意抓持位置支持对推动动作的条件推理，实现可解释且自适应的交互。
• 展示仅使用智能手机摄像头从仿真环境到真实世界RGB图像的有效迁移，无需领域自适应或微调。

提出的方法

• AtP 使用双流网络：交互网络根据视觉观测和部件分割信念预测最优抓持和推动动作，感知网络则利用光流和触觉反馈更新部件掩码。
• 交互网络通过推理视觉观测的变化来推断行动位置，使用奖励预测头基于抓持位置对潜在推动动作进行评分。
• 运动分割通过连续帧之间的光流实现，部件掩码随时间聚合以优化信念状态。
• 触觉反馈被建模为二值信号（例如剪切力的存在），并整合进学习循环以提升动作选择和运动检测性能。
• 模型在 PartNet-Mobility 数据集的仿真环境中进行训练，采用课程学习策略，随时间逐步增加任务复杂度。
• 历史聚合机制在时间步之间维护并更新部件分割信念，支持新部件的渐进式发现。

Figure 1: Interaction for Part Discovery. Passive part segmentation algorithms require detailed annotation and cannot generalize to new categories. While motion can help discover new objects, prior work cannot infer actions for understanding individual parts. Our work, Act the Part, learns interacti

实验结果

研究问题

• RQ1 智能体能否学习一种系统性交互方式，以暴露隐藏部件供分割，且无需事先的语义知识？
• RQ2 该交互策略能否泛化到具有不同部件数和关节数的未见物体类别？
• RQ3 模型是否通过基于任意抓持位置预测最优推动动作，展示了可解释的条件推理？
• RQ4 模型能否在无需微调的情况下，从仿真环境有效迁移到真实世界的RGB图像？
• RQ5 与仅视觉的基线方法相比，视觉与触觉反馈的融合如何提升部件发现性能？

主要发现

• AtP 学习到高效、任务特定的交互策略，能够隔离并揭示关节结构，从而在无需任何部件标注或运动学先验知识的情况下实现成功的部件分割。
• 该模型实现了对未见物体类别的零样本泛化，包括最多三根连杆的多连杆配置，展现出对结构和视觉差异的强鲁棒性。
• 通过可视化推动奖励图，展示了条件动作推理能力：模型根据抓持位置自适应调整预测，表明其具备结构理解能力。
• 在真实世界实验中，AtP 无需微调即可从智能手机拍摄的RGB图像中成功发现部件掩码，尽管光照和成像伪影存在域偏移，仍表现出强大的仿真到真实迁移能力。
• 通过迭代交互和信念更新，该方法实现了高质量的部件分割，且在不同物体形状、纹理和关节类型下性能稳定。
• 模型能够推理推动方向（例如选择从左上方向推动以打开剪刀），证实其学习到了物理上合理且信息丰富的交互策略。

Figure 2: Model overview. (a) The interaction network computes hold and push from an image observation and current part memory. The physics simulator gives the action effects yielding the next observation. (b) The part network takes the action and image observations to infer the motion masks for the