[论文解读] Getting to 99% Accuracy in Interactive Segmentation

Marco Forte, Brian Price+3 more|arXiv (Cornell University)|Mar 17, 2020

Advanced Neural Network Applications参考文献 38被引用 28

一句话总结

该论文提出了一种新颖的深度学习架构与训练策略，用于交互式图像分割，在 GrabCut 数据集上仅使用 20 次点击即可实现 99% 的 mIoU 准确率。该方法通过双流（图像与交互）U-Net 结构，将用户交互建模为序列化编辑过程，并结合引导滤波，显著提升了对精细边界的建模能力；同时，通过专注于精细边界的高质量合成数据集进一步提升了性能。

ABSTRACT

Interactive object cutout tools are the cornerstone of the image editing workflow. Recent deep-learning based interactive segmentation algorithms have made significant progress in handling complex images and rough binary selections can typically be obtained with just a few clicks. Yet, deep learning techniques tend to plateau once this rough selection has been reached. In this work, we interpret this plateau as the inability of current algorithms to sufficiently leverage each user interaction and also as the limitations of current training/testing datasets. We propose a novel interactive architecture and a novel training scheme that are both tailored to better exploit the user workflow. We also show that significant improvements can be further gained by introducing a synthetic training dataset that is specifically designed for complex object boundaries. Comprehensive experiments support our approach, and our network achieves state of the art performance.

研究动机与目标

• 解决基于深度学习的交互式分割工具在 90–95% mIoU 左右出现性能瓶颈的问题，该瓶颈限制了其在专业图像编辑工作流中的应用。
• 克服当前模型在有效利用用户交互方面的能力局限，尤其是在初始粗略选择后进行局部精细化操作时的表现。
• 通过将交互编辑过程建模为一系列纠正性点击而非静态点击集合，实现 mIoU 超过 99% 的分割准确率。
• 证明为复杂边界专门设计的合成训练数据可显著提升真实世界基准上的性能表现。
• 开发一种全分辨率网络架构，以保留精细细节，并为艺术家提供精确且可预测的预测结果。

提出的方法

• 提出一种单一、端到端可训练的基于 U-Net 的架构，为图像特征和用户交互线索（点击）分别设置独立的编码路径，从而实现对点击信息的更优传播。
• 在解码器之后集成引导滤波层，以优化最终掩码，生成平滑且高质量的透明度预测结果。
• 实施一种序列化训练方案，逐个添加点击，模拟真实艺术家的工作流程，使网络能够从纠正性编辑中学习。
• 设计并使用一个具有高质量、精确真实标签的合成数据集，专注于复杂物体边界，以提升模型的泛化能力和对细微细节的恢复能力。
• 采用两阶段训练策略：首先在合成数据上进行训练以学习边界细节，然后在真实数据集上微调，以适应真实图像的分布特征。
• 结合真实基准（GrabCut、Berkeley、SBD）与合成数据，评估模型在多样化图像类型上的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 深度学习模型能否在使用合理数量的用户点击下，实现 99% mIoU 的交互式分割准确率？
• RQ2 与静态点击集合相比，将用户交互建模为一系列纠正性点击是否能带来更好的性能表现和更可预测的结果？
• RQ3 为复杂边界专门设计的合成数据集能否使交互式分割模型的准确率超越真实世界基准？
• RQ4 与低分辨率特征提取相比，全分辨率处理与引导滤波在提升细节恢复方面有多大改进？
• RQ5 单一统一网络的性能与将粗分割与精修分离的两阶段架构相比如何？

主要发现

• 所提方法在 GrabCut 数据集的 62% 图像上，仅用 20 次点击即实现了 99% 的 mIoU 准确率，显著优于先前的最先进方法。
• 在合成数据集上训练并结合真实数据微调后，该模型在 74% 的 GrabCut 图像上实现了 20 次点击内 99% 的 mIoU，证明了合成数据在提升细节表现方面的有效性。
• 序列化点击训练方案显著提升了模型对局部修正的响应能力，使从 1 到 20 次点击的所有点击数下 mIoU 均有提升。
• 双流架构（图像流与交互流）实现了用户反馈的更精确传播，减少了误差传播，提升了局部精细化能力。
• 合成数据集显著提升了 SBD 和 Berkeley 基准上的性能，结合微调后 mIoU 提升最高达 0.058 个百分点。
• 该模型的预测结果更具可预测性，且更易于迭代优化，因此在专业图像编辑工作流中相比以往方法更具实用性。