[论文解读] Deep Active Contours

Christian Rupprecht, Elizabeth Huaroc+2 more|arXiv (Cornell University)|Jul 18, 2016

Medical Image Segmentation Techniques参考文献 30被引用 36

一句话总结

本文提出 Deep Active Contours，一种交互式图像分割方法，利用轻量级、类别特定的卷积神经网络（CNN）预测从轮廓点指向物体边界的向量，再通过 Sobolev 活动轮廓框架演化轮廓。该方法具有高效率和可扩展性，可在小型 GPU 上训练，并在 STACOM 和 PASCAL VOC 2012 等医学图像和自然图像数据集上实现高精度分割。

ABSTRACT

We propose a method for interactive boundary extraction which combines a deep, patch-based representation with an active contour framework. We train a class-specific convolutional neural network which predicts a vector pointing from the respective point on the evolving contour towards the closest point on the boundary of the object of interest. These predictions form a vector field which is then used for evolving the contour by the Sobolev active contour framework proposed by Sundaramoorthi et al. The resulting interactive segmentation method is very efficient in terms of required computational resources and can even be trained on comparatively small graphics cards. We evaluate the potential of the proposed method on both medical and non-medical challenge data sets, such as the STACOM data set and the PASCAL VOC 2012 data set.

研究动机与目标

• 开发一种结合深度学习与活动轮廓模型的交互式图像分割方法，以提升精度与效率。
• 通过仅采样轮廓周围局部图像块而非处理整幅图像，降低计算成本。
• 实现在低资源硬件（如内存有限的消费级 GPU，例如 4GB GTX 980）上的训练与推理。
• 通过向量场的 Sobolev 类型正则化，提升对噪声或错误 CNN 预测的鲁棒性。
• 在医学影像（如心脏 MRI）和自然场景理解（如 PASCAL VOC）等多样化领域中展示适用性。

提出的方法

• 训练一个类别特定的卷积神经网络（CNN），使其在每个演化中的活动轮廓点上预测一个 2D 向量，该向量从图像块中心指向最近的物体边界。
• 在每个轮廓点处提取局部图像块，根据轮廓法线方向进行定向，并输入 CNN 以生成指向边界的向量预测。
• 利用 Sobolev 活动轮廓框架（Sundaramoorthi et al.）对预测的向量场进行正则化，以平滑向量场并抑制异常或错误的预测。
• 通过集成正则化后的向量场，利用受水平集启发的演化方式，基于 Sobolev 梯度流迭代演化轮廓。
• 网络架构受 Krizhevsky et al. 启发，但为提升效率而大幅缩小，从而实现在小型 GPU 上的训练。
• 通过在图像中以四种旋转方向密集评估网络，生成投票图，用于可视化和分析网络学习到的边界投票行为。

实验结果

研究问题

• RQ1 轻量级、基于图像块的 CNN 是否能以极低计算成本有效引导活动轮廓演化，实现交互式图像分割？
• RQ2 Sobolev 正则化在存在噪声或错误预测的情况下，如何提升 CNN 预测向量场的鲁棒性？
• RQ3 在无显式 3D 监督的情况下，仅在 2D 图像块上训练的 CNN 在多大程度上能学习到关于物体的有意义 3D 结构信息（如边缘和角点）？
• RQ4 该方法能否在复杂医学图像与自然场景图像等多样化图像领域中保持一致的性能表现？
• RQ5 该方法在图像尺寸增大时的可扩展性如何？是否能在避免全图处理的同时保持精度？

主要发现

• 该方法在 STACOM（医学图像）和 PASCAL VOC 2012（自然图像）数据集上均实现了高精度的交互式分割，展现出广泛适用性。
• Sobolev 正则化有效去除了异常向量预测（如右下角的错误短向量），提升了轮廓演化的稳定性。
• 投票图显示，网络学习到的投票行为针对的是实际的 3D 物体边缘（如汽车挡风玻璃），而非仅轮廓线，表明其具备隐式的形状理解能力。
• 网络在物体角点和边缘处聚集更多投票，且在几何特征位置具有更高的投票密度，证实模型对物体结构细节的敏感性。
• 该方法可在 4GB GTX 980 GPU 上于两小时内完成训练，展现出极高的计算效率与低硬件资源需求。
• 在捕捉细微细节（如牛腿、狗耳朵）方面存在局限，提示未来工作需探索端到端的粗到细优化或更高分辨率图像块策略。