[论文解读] Interactive Binary Image Segmentation with Edge Preservation

Jianfeng Zhang, Liezhuo Zhang+4 more|arXiv (Cornell University)|Sep 10, 2018

Medical Image Segmentation Techniques参考文献 24被引用 3

一句话总结

本文提出了一种新颖的交互式二值图像分割方法，采用基于测地距离的单变量项（在超像素上）与双边相似性作为成对正则化项的马尔可夫随机场（MRF）。通过结合快速双边求解器（FBS）与通过交替方向法实现的最速梯度下降，该方法在VGG数据集上实现了比现有最先进方法更高效、更精确的高质量边缘保持分割结果。

ABSTRACT

Binary image segmentation plays an important role in computer vision and has been widely used in many applications such as image and video editing, object extraction, and photo composition. In this paper, we propose a novel interactive binary image segmentation method based on the Markov Random Field (MRF) framework and the fast bilateral solver (FBS) technique. Specifically, we employ the geodesic distance component to build the unary term. To ensure both computation efficiency and effective responsiveness for interactive segmentation, superpixels are used in computing geodesic distances instead of pixels. Furthermore, we take a bilateral affinity approach for the pairwise term in order to preserve edge information and denoise. Through the alternating direction strategy, the MRF energy minimization problem is divided into two subproblems, which then can be easily solved by steepest gradient descent (SGD) and FBS respectively. Experimental results on the VGG interactive image segmentation dataset show that the proposed algorithm outperforms several state-of-the-art ones, and in particular, it can achieve satisfactory edge-smooth segmentation results even when the foreground and background color appearances are quite indistinctive.

研究动机与目标

• 为解决交互式二值图像分割中模糊的颜色表现问题，通过引入用户提供的涂抹标记来改进。
• 在传统方法失效的复杂或低对比度图像中，提升分割精度与边缘保持能力。
• 通过在超像素级别计算测地距离，降低计算成本，同时保持高分割质量。
• 在MRF框架中利用双边相似性作为正则化项，增强边界敏感性与平滑性。
• 通过解耦优化的交替方向策略，实现实时响应的交互式分割。

提出的方法

• 单变量项通过计算超像素中心到前景和背景种子集合的测地距离构建，相比像素级计算显著降低了计算负载。
• 成对项采用双边相似性以保持边缘并去噪，利用快速双边求解器（FBS）的边缘感知平滑特性。
• 使用交替方向乘子法（ADMM）将MRF能量最小化问题分解为两个子问题。
• 第一个子问题通过最速梯度下降（SGD）求解以优化标签，第二个子问题则通过FBS高效求解以实现平滑性约束。
• 使用超像素近似图像结构，实现更快的测地距离计算，同时不损失分割保真度。
• 将用户点击或涂抹作为种子输入，引导分割过程，确保与用户意图一致。

实验结果

研究问题

• RQ1 基于超像素的测地距离计算是否能显著降低计算成本，同时在交互式二值分割中保持分割精度？
• RQ2 在低对比度或复杂纹理条件下，双边相似性正则化与总变差（TV）正则化相比，在保持物体边界方面表现如何？
• RQ3 交替方向策略在多大程度上实现了高效且响应迅速的交互式分割，并获得高质量结果？
• RQ4 在计算效率与分割性能之间取得平衡时，最优的超像素数量是多少？
• RQ5 当前景与背景颜色视觉上相似时，所提方法是否能实现更优的边缘平滑性与准确性？

主要发现

• 在原始标注的VGG数据集上，该方法平均交并比（IoU）达到0.834，F2得分达到0.930，优于多种最先进方法。
• 在修改后的标注下，该方法实现IoU为0.841，F2得分为0.934，表明在标注变化下具有鲁棒性与一致性。
• FBS模块的使用显著提升了边界连续性与平滑性，1600个超像素的分割结果中已可直观验证。
• 当超像素数量超过1600后，性能提升微乎其微，表明1600在精度与效率之间提供了良好的平衡。
• 与基于TV的正则化相比，该方法在边缘保持方面表现更优，对比可视化结果表明FBS生成的物体边界更连续、更准确。
• 消融研究证实，基于FBS的双边相似性项能有效减少噪声，同时保持锐利边缘，尤其在低对比度区域表现突出。