[论文解读] AGILE3D: Attention Guided Interactive Multi-object 3D Segmentation

Yuanwen Yue, Sabarinath Mahadevan+5 more|arXiv (Cornell University)|Jun 1, 2023

3D Shape Modeling and Analysis被引用 5

一句话总结

AGILE3D 提出了一种基于注意力引导的交互式3D实例分割框架，通过时空点击查询同时分割点云中的多个物体，实现了更快的推理速度和更少用户点击下的更高精度。通过点击注意力模块显式建模点击与3D场景之间的交互，该方法在单对象和多对象设置下均达到当前最优性能，尤其在低点击次数条件下表现突出。

ABSTRACT

During interactive segmentation, a model and a user work together to delineate objects of interest in a 3D point cloud. In an iterative process, the model assigns each data point to an object (or the background), while the user corrects errors in the resulting segmentation and feeds them back into the model. The current best practice formulates the problem as binary classification and segments objects one at a time. The model expects the user to provide positive clicks to indicate regions wrongly assigned to the background and negative clicks on regions wrongly assigned to the object. Sequentially visiting objects is wasteful since it disregards synergies between objects: a positive click for a given object can, by definition, serve as a negative click for nearby objects. Moreover, a direct competition between adjacent objects can speed up the identification of their common boundary. We introduce AGILE3D, an efficient, attention-based model that (1) supports simultaneous segmentation of multiple 3D objects, (2) yields more accurate segmentation masks with fewer user clicks, and (3) offers faster inference. Our core idea is to encode user clicks as spatial-temporal queries and enable explicit interactions between click queries as well as between them and the 3D scene through a click attention module. Every time new clicks are added, we only need to run a lightweight decoder that produces updated segmentation masks. In experiments with four different 3D point cloud datasets, AGILE3D sets a new state-of-the-art. Moreover, we also verify its practicality in real-world setups with real user studies.

研究动机与目标

• 为解决交互式设置中顺序单对象3D分割效率低下的问题，即用户对某一物体的点击可隐式提供邻近物体的分割信息。
• 通过建模用户点击与3D场景之间的交互，实现在同一时间对多个3D物体进行上下文感知的并行分割。
• 通过将特征提取与点击处理解耦，仅在每次用户点击后轻量化重推理，从而减少推理时间。
• 通过引入具有时空位置编码的高维查询来编码用户点击，提升分割精度与样本效率。
• 通过真实世界用户研究和在多样化3D数据集上的基准测试，验证模型的实际可用性。

提出的方法

• 用户点击被编码为高维特征查询，而非二值点击图，从而可直接与3D点特征融合。
• 点击作为查询模块为每次点击补充时空位置编码，以保留用户反馈的顺序与空间位置信息。
• 点击注意力模块实现三重交互：点击-场景、场景-点击和点击-点击注意力，用于上下文推理。
• 查询融合模块通过竞争性注意力机制聚合所有点击查询，生成统一的、整体的分割掩码。
• 3D主干网络预先计算完成，仅在每次用户交互后重新运行轻量级解码器（点击注意力与查询融合模块），实现快速推理。
• 模型采用迭代训练策略，模拟真实用户反馈，提升泛化能力与少样本性能。

实验结果

研究问题

• RQ1 通过并行处理而非顺序处理多个物体，能否使交互式3D分割更高效、更准确？
• RQ2 用户点击的时空编码在迭代标注场景中如何提升模型性能？
• RQ3 显式的点击-场景与点击-点击注意力机制在多大程度上提升了分割精度与泛化能力？
• RQ4 基于查询的注意力驱动架构能否在保持或提升分割质量的同时减少推理时间？
• RQ5 与现有基线方法相比，该模型在真实世界用户研究中于实际标注场景下的表现如何？

主要发现

• 在S3DIS数据集上，AGILE3D在10次点击下达到84.4%的平均IoU，显著优于先前的SOTA方法。
• 在低点击次数场景（10次点击）下，AGILE3D相比前代SOTA方法减少了10.7%的点击次数，展现出更强的样本效率。
• 若移除点击-场景或点击-点击注意力机制，IoU最高下降5.2个百分点，证实其对性能的关键作用。
• 在KITTI-360数据集上，同时包含空间与时间编码可使性能提升最高达5.4个百分点，尤其在复杂动态场景中表现更优。
• 用户研究证实，AGILE3D可实现更快的标注速度并减少点击次数，且用户对分割结果的置信度高于顺序方法。
• 该模型在未见物体类别上泛化能力良好，实现优异的零样本性能，尤其得益于点击-点击注意力机制带来的跨物体推理优势。