[论文解读] EdgeFlow: Achieving Practical Interactive Segmentation with Edge-Guided Flow

Yuying Hao, Yi Liu+9 more|arXiv (Cornell University)|Sep 20, 2021

Advanced Neural Network Applications参考文献 45被引用 6

一句话总结

EdgeFlow 提出了一种新颖的交互式分割架构，通过利用边缘引导的特征流动和早期-晚期特征融合，增强了用户点击交互，实现了无需后处理的最先进性能。该方法采用从粗到精的网络结构，结合来自先前预测的动态边缘先验，实现了快速、稳定且准确的分割，仅需极少点击即可完成——在 Berkeley 数据集上仅用 5 次点击即达到 96.9% 的 IoU。

ABSTRACT

High-quality training data play a key role in image segmentation tasks. Usually, pixel-level annotations are expensive, laborious and time-consuming for the large volume of training data. To reduce labelling cost and improve segmentation quality, interactive segmentation methods have been proposed, which provide the result with just a few clicks. However, their performance does not meet the requirements of practical segmentation tasks in terms of speed and accuracy. In this work, we propose EdgeFlow, a novel architecture that fully utilizes interactive information of user clicks with edge-guided flow. Our method achieves state-of-the-art performance without any post-processing or iterative optimization scheme. Comprehensive experiments on benchmarks also demonstrate the superiority of our method. In addition, with the proposed method, we develop an efficient interactive segmentation tool for practical data annotation tasks. The source code and tool is avaliable at https://github.com/PaddlePaddle/PaddleSeg.

研究动机与目标

• 通过支持高效、准确的交互式标注并最小化用户点击次数，降低图像分割中像素级标注的高昂成本。
• 通过在网络各层更优地整合用户交互信息，解决现有基于点击的交互式分割模型中存在的不稳定性和特征稀释问题。
• 通过引入从先前预测中动态更新的边缘掩码作为先验信息，提升分割的稳定性和准确性。
• 开发一种实用、高效的标注工具，支持实时推理、多边形编辑和多格式输出，适用于多样化应用场景。

提出的方法

• EdgeFlow 采用从粗到精的网络结构，包含 CoarseNet（HRNet-18+OCR）和 FineNet（三个空洞卷积模块），在高分辨率下逐步优化分割掩码。
• 提出边缘引导的特征流动（EF），通过早期-晚期特征融合策略，将用户点击特征嵌入网络的早期和深层，减少特征稀释。
• 将前一次预测生成的边缘掩码作为当前点击的动态先验输入，提升连续点击之间的分割稳定性。
• 边缘掩码由网络自身生成，形成反馈回路，使物体边界在每次点击后逐步优化。
• 该架构避免后处理或迭代优化，支持在交互式标注过程中实现实时推理。
• 基于 EdgeFlow 开发了交互式分割工具，支持基于点击的标注、阈值调节、连通组件过滤以及多边形顶点编辑，以提升标注精度。

实验结果

研究问题

• RQ1 交互式分割模型如何在深层网络中更好地保留并利用用户点击信息，以避免特征稀释？
• RQ2 从先前预测中动态更新的边缘掩码在交互式设置中能在多大程度上提升分割的稳定性和准确性？
• RQ3 单阶段、端到端的架构是否能在无需迭代优化或后处理的情况下实现交互式分割的最先进性能？
• RQ4 边缘引导的特征流动与从粗到精的优化策略相结合，对多样化基准和真实世界标注任务的性能有何影响？

主要发现

• EdgeFlow 在 Berkeley 数据集上仅用 5 次点击即达到 96.9% 的平均 IoU，证明了其在交互式分割中具有高精度和高效率。
• 在 10 次点击下，模型在 Berkeley 数据集上的 IoU 达到 97.0%，表明其具有良好的收敛性并能稳健应对用户输入。
• 引入 FineNet 显著提升了 NoC@85 和 NoC@90 指标，验证了从粗到精设计的有效性。
• 使用先前预测生成的边缘掩码（EI 掩码）优于固定 Sobel 边缘掩码（SI 掩码），证明了动态、上下文感知先验的价值。
• 边缘引导的特征流动模块降低了输出方差，稳定了连续点击的预测结果，提升了标注的可靠性。
• 所开发的交互式工具支持灵活标注，具备多边形编辑和多格式导出功能，显著增强了在真实世界数据标注流程中的实用性。