[论文解读] FocalClick: Towards Practical Interactive Image Segmentation

Xi Chen, Zhiyan Zhao+4 more|arXiv (Cornell University)|Apr 6, 2022

Image Processing Techniques and Applications被引用 13

一句话总结

FocalClick 提出了一种新颖且高效的交互式图像分割流水线，显著提升了速度并增强了与现有掩码的兼容性。通过聚焦于局部图像区域——用于粗分割的 Target Crop 和用于精细化的 Focus Crop，该方法大幅减少了 FLOPs，同时保持了精确的细节。该方法引入了 Progressive Merge 机制，在不破坏正确区域的前提下修正掩码，实现了极低计算成本下的 SOTA 性能。

ABSTRACT

Interactive segmentation allows users to extract target masks by making positive/negative clicks. Although explored by many previous works, there is still a gap between academic approaches and industrial needs: first, existing models are not efficient enough to work on low power devices; second, they perform poorly when used to refine preexisting masks as they could not avoid destroying the correct part. FocalClick solves both issues at once by predicting and updating the mask in localized areas. For higher efficiency, we decompose the slow prediction on the entire image into two fast inferences on small crops: a coarse segmentation on the Target Crop, and a local refinement on the Focus Crop. To make the model work with preexisting masks, we formulate a sub-task termed Interactive Mask Correction, and propose Progressive Merge as the solution. Progressive Merge exploits morphological information to decide where to preserve and where to update, enabling users to refine any preexisting mask effectively. FocalClick achieves competitive results against SOTA methods with significantly smaller FLOPs. It also shows significant superiority when making corrections on preexisting masks. Code and data will be released at github.com/XavierCHEN34/ClickSEG

研究动机与目标

• 为解决现有交互式分割模型在低功耗设备上计算效率低下的问题，降低计算成本。
• 解决在精修已有掩码时因更新方式具有破坏性而导致正确分割区域丢失的问题。
• 引入一个新的基准和子任务——交互式掩码修正（Interactive Mask Correction），以评估并提升模型在真实世界编辑场景下的性能。
• 开发一种兼顾速度、准确性和工业部署需求的实用化流水线。
• 使用户能够有效精修任意已有掩码，而无需重新计算整张图像。

提出的方法

• FocalClick 将全图推理分解为两个快速、局部化的推理步骤：在 Target Crop 上进行粗分割，在以用户点击为中心的 Focus Crop 上进行精细化处理。
• Target Crop 基于前一帧掩码选定，并下采样至低分辨率，以加速粗分割预测。
• Focus Crop 动态选择在粗分割预测与前一掩码之间差异最大的区域，以聚焦于需要修正的区域。
• Progressive Merge 利用形态学分析判断新预测中应保留和应更新的部分，确保正确区域不被覆盖。
• 模型训练时同时支持从零开始标注和掩码修正两种场景，采用统一架构支持两种模式。
• 构建了一个新的基准 DAVIS-585，用于评估模型在交互式掩码修正任务上的表现。

实验结果

研究问题

• RQ1 局部化推理策略是否能在保持 SOTA 准确率的同时显著降低交互式分割中的 FLOPs？
• RQ2 模型如何在不破坏已正确分割区域的前提下，有效修正已有掩码？
• RQ3 动态裁剪选择与精修策略对用户交互效率和准确率有何影响？
• RQ4 统一流水线是否能以相近性能同时处理从零开始标注和掩码编辑场景？
• RQ5 基于形态学的融合方法（Progressive Merge）与标准融合方法相比，在保持掩码完整性方面表现如何？

主要发现

• FocalClick 在 DAVIS 和 COCO-Thing 基准上实现了具有竞争力的性能，同时显著降低了 FLOPs——相比 SOTA 方法如 RITM 和 Click-CLIP，最高可减少 10 倍。
• 在用于交互式掩码修正任务的 DAVIS-585 基准上，FocalClick 显著优于 RITM，尤其在保留初始掩码细节方面表现突出。
• 该方法通过仅聚焦于相关图像区域，显著缩短了推理时间，使其适用于部署在笔记本电脑和边缘系统等低功耗设备上。
• Progressive Merge 有效防止了正确区域被覆盖，定性结果表明，在多次编辑后，已正确分割的区域仍保持完整。
• 消融实验确认，Target Crop 和 Focus Crop 两个组件均不可或缺：若移除 Focus Crop，FLOPs 增加 4.5 倍，性能下降 30%。
• 裁剪策略对超参数变化具有鲁棒性，在不同比例设置下性能波动低于 1%，表明其定位稳定可靠。