[论文解读] Amodal 3D Reconstruction for Robotic Manipulation via Stability and Connectivity

William Agnew, Christopher Xie+5 more|arXiv (Cornell University)|Sep 28, 2020

Robotics and Sensor-Based Localization参考文献 41被引用 9

一句话总结

该论文提出ARM，一种用于机器人操作的新型无模式3D重建框架，通过可微分损失函数施加稳定性和连通性先验，提升了物理现实感。通过将这些先验与多通道输入表示相结合，ARM在杂乱环境中对未见过的遮挡物体进行操作的成功率相比最先进基线方法提高了42%。

ABSTRACT

Learning-based 3D object reconstruction enables single- or few-shot estimation of 3D object models. For robotics, this holds the potential to allow model-based methods to rapidly adapt to novel objects and scenes. Existing 3D reconstruction techniques optimize for visual reconstruction fidelity, typically measured by chamfer distance or voxel IOU. We find that when applied to realistic, cluttered robotics environments, these systems produce reconstructions with low physical realism, resulting in poor task performance when used for model-based control. We propose ARM, an amodal 3D reconstruction system that introduces (1) a stability prior over object shapes, (2) a connectivity prior, and (3) a multi-channel input representation that allows for reasoning over relationships between groups of objects. By using these priors over the physical properties of objects, our system improves reconstruction quality not just by standard visual metrics, but also performance of model-based control on a variety of robotics manipulation tasks in challenging, cluttered environments. Code is available at github.com/wagnew3/ARM.

研究动机与目标

• 解决现有3D重建方法在杂乱环境中应用于机器人操作时物理现实感不足的问题。
• 克服标准重建指标（如Chamfer距离）与任务性能相关性差的局限性。
• 通过生成部分遮挡、未见过物体的物理上合理3D重建，提升基于模型的控制性能。
• 开发一种模块化框架，不仅在视觉上提升重建保真度，同时增强下游任务的物理合理性。
• 在高遮挡条件下，显著提升抓取、推动和重排任务中的操作成功率。

提出的方法

• 引入一种可微分的稳定性损失，惩罚在重力作用下容易倾倒的重建物体形状，促进物理上稳定的构型。
• 设计一种连通性损失，惩罚不连贯或碎片化的物体重建，确保无模式形状补全的连贯性。
• 使用多通道体素表示，在重建过程中编码目标物体与周围干扰物之间的空间关系。
• 将稳定性和连通性先验整合到基于基础重建模型（如GenRE）构建的模块化框架中，实现即插即用的性能提升。
• 使用标准优化方法端到端训练整个系统，通过先验引导网络倾向于生成物理上合理的形状。
• 利用真实实例分割结果隔离重建效果与感知误差，确保对重建质量的公平评估。

实验结果

研究问题

• RQ1 在杂乱的机器人环境中，强制施加如稳定性和连通性等物理先验是否能提升3D重建质量？
• RQ2 与标准重建方法相比，稳定性和连通性先验在高遮挡条件下在多大程度上减少了性能下降？
• RQ3 通过多通道输入引入物体之间的空间关系，是否能提升无模式重建的保真度和下游任务的成功率？
• RQ4 具有可微分物理先验的模块化框架是否能显著提升对未见过的遮挡物体的操作成功率？
• RQ5 标准视觉重建指标（如Chamfer距离）在真实世界场景中与实际机器人任务性能的相关性如何？

主要发现

• 在高度杂乱的场景中，ARM在抓取、推动和重排任务中相比基线方法GenRE，操作成功率提高了42%。
• 在仅可见10%的物体上，ARM的成功率达到了未遮挡物体的75%，而基线方法仅为25%，表明其对遮挡具有显著鲁棒性。
• 稳定性先验显著降低了重建物体的失败率，评估中物体稳定性与任务成功率之间存在强烈相关性。
• ARM在新提出的、具有挑战性的杂乱3D重建基准上，即使该指标未被直接优化，仍使重建质量提升了28%。
• 多通道输入表示通过使模型能够在重建过程中推理物体关系与空间上下文，从而提升性能。
• 该框架具有模块化和泛化能力，可与任何最先进3D重建模型结合，而不仅限于GenRE。