[论文解读] CNOS: A Strong Baseline for CAD-based Novel Object Segmentation

Van Nguyen Nguyen, Thibault Groueix+3 more|arXiv (Cornell University)|Jul 20, 2023

Advanced Neural Network Applications被引用 4

一句话总结

CNOS 提出了一种简单而强大的零样本方法，仅使用 CAD 模型实现新物体分割，利用 Segment Anything 生成提议，并通过 DINOv2 的 [cls] token 将其与预渲染的模板匹配。该方法在 BOP 基准测试中达到最先进性能，相较于先前的无监督方法提升 19.8% AP，甚至超越了如 Mask R-CNN 等有监督方法。

ABSTRACT

We propose a simple three-stage approach to segment unseen objects in RGB images using their CAD models. Leveraging recent powerful foundation models, DINOv2 and Segment Anything, we create descriptors and generate proposals, including binary masks for a given input RGB image. By matching proposals with reference descriptors created from CAD models, we achieve precise object ID assignment along with modal masks. We experimentally demonstrate that our method achieves state-of-the-art results in CAD-based novel object segmentation, surpassing existing approaches on the seven core datasets of the BOP challenge by 19.8% AP using the same BOP evaluation protocol. Our source code is available at https://github.com/nv-nguyen/cnos.

研究动机与目标

• 解决有监督方法在机器人和 AR 应用中需为每个新物体重新训练的局限性。
• 仅使用 CAD 模型实现新物体的零样本分割，避免昂贵的数据收集和重新训练。
• 开发一种强大且简洁的基于 CAD 的新物体分割基线，优于现有无监督和有监督方法。
• 通过 DINOv2 和照片级真实感渲染缓解真实图像与合成图像之间的域差距。

提出的方法

• CNOS 使用 FastSAM 或 SAM 在输入 RGB 图像中生成分割提议。
• 它从多个视角预渲染 CAD 模型为模板，并使用 DINOv2 [cls] token 对每个模板进行编码以生成视觉描述。
• 在推理阶段，通过计算其 DINOv2 [cls] token 与模板之间的余弦相似度，将提议与模板匹配。
• 该方法使用前 k 个最高相似度得分的平均值（Meanₖ，k=5）作为掩码置信度的最终匹配分数。
• 通过 BlenderProc 实现照片级真实感渲染，以减少域差距并提升准确性。
• 上线过程为一次性操作：为每个 CAD 模型渲染模板并提取 DINOv2 描述符。

实验结果

研究问题

• RQ1 仅基于 CAD 模型的零样本方法能否在新物体分割任务中达到最先进性能？
• RQ2 DINOv2 [cls] token 相似度在将真实图像提议与合成 CAD 模板匹配方面有多有效？
• RQ3 与标准渲染相比，照片级真实感渲染是否显著提升零样本分割的准确性？
• RQ4 CNOS 是否能在无需任何微调的情况下超越有监督和无监督基线方法？

主要发现

• CNOS 在 LM-O 数据集上使用 FastSAM 和 ViT-l 达到 39.7% AP，相较于之前最先进无监督方法提升 19.8% AP。
• CNOS 超过了在每个数据集上训练了数万张图像的有监督 Mask R-CNN 方法，展示了强大的零样本泛化能力。
• 与标准 Pyrender 渲染相比，使用 BlenderProc 实现照片级真实感渲染使准确率提升 0.2% AP。
• Meanₖ（k=5）聚合函数表现最佳，相较于 Max 提升 3.2% 准确率，相较于 Mean 也提升 3.2%。
• 使用标准渲染时，每个 CAD 模型的上线时间低于 2 秒，适用于工业部署。
• 该方法对视角变化具有鲁棒性，密集视角渲染（162 个视角）与粗略视角渲染（42 个视角）性能几乎相同。