[论文解读] Fast Interactive Object Annotation with Curve-GCN
该论文提出Curve-GCN，一种基于参数曲线的深度学习模型，用于通过最少用户输入实现快速交互式对象标注。该模型利用图卷积网络，仅需极少用户输入即可实现高精度和高效率的自动与交互式标注，在定量和定性评估中均优于基线方法。
Manually labeling objects by tracing their boundaries is a laborious process. In Polygon-RNN++ the authors proposed Polygon-RNN that produces polygonal annotations in a recurrent manner using a CNN-RNN architecture, allowing interactive correction via humans-in-the-loop. We propose a new framework that alleviates the sequential nature of Polygon-RNN, by predicting all vertices simultaneously using a Graph Convolutional Network (GCN). Our model is trained end-to-end. It supports object annotation by either polygons or splines, facilitating labeling efficiency for both line-based and curved objects. We show that Curve-GCN outperforms all existing approaches in automatic mode, including the powerful PSP-DeepLab and is significantly more efficient in interactive mode than Polygon-RNN++. Our model runs at 29.3ms in automatic, and 2.6ms in interactive mode, making it 10x and 100x faster than Polygon-RNN++.
研究动机与目标
- 解决交互式分割任务中对象标注速度慢、精度低的挑战。
- 开发一种方法，仅通过最少的用户点即可实现快速、精确的对象边界标注。
- 通过基于曲线的表示和图卷积网络，提升交互式分割模型的泛化能力和鲁棒性。
- 评估模型在不同控制点数量和用户交互场景下的性能表现。
- 通过自研工具和人机协同实验，证明Curve-GCN在真实标注工作流中的可行性和有效性。
提出的方法
- 模型采用参数曲线表示来定义对象边界，实现平滑且可微的边界预测。
- 在曲线的控制点上应用图卷积网络（GCN），以编码空间和结构关系。
- 模型架构端到端训练，从用户提供的点击或涂抹输入中预测最优曲线参数。
- 该方法支持自动推理（单次点击）和交互式优化（通过多次点击或涂抹）。
- 开发了自研标注工具，用于收集真实人类标注样本，并在交互环境中验证性能。
- 通过调整控制点数量对模型进行评估，以确定在精度与效率之间达到最优的拓扑结构。
实验结果
研究问题
- RQ1Curve-GCN在标注速度和精度方面相较于基线方法表现如何？
- RQ2实现高分割精度且用户输入最少时，最优的控制点数量是多少？
- RQ3Curve-GCN在包含人机协同反馈的交互式标注场景中效果如何？
- RQ4Curve-GCN能否在各种对象形状和复杂边界上实现良好泛化？
- RQ5与标准曲线拟合方法相比，图卷积网络的引入如何提升边界预测性能？
主要发现
- 与基线模型相比，Curve-GCN在复杂边界场景下实现了更优的分割精度。
- 模型表现出高效率，即使在仅提供单次点击等极少用户输入的情况下，也能实现快速推理。
- 在控制点数量适中时达到最优性能，兼顾了精度与计算成本。
- 人机协同实验表明，Curve-GCN显著减少了标注时间，同时保持了高精度。
- 定性结果表明，Curve-GCN在多种数据集和用户输入下均能生成平滑、准确且逼真的对象边界。
- 补充材料证实，Curve-GCN在自动模式和交互模式下，于多个评估指标上均表现出一致的性能提升。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。