[论文解读] End-to-End Deep Convolutional Active Contours for Image Segmentation

Ali Hatamizadeh, Debleena Sengupta+1 more|arXiv (Cornell University)|Jan 1, 2019

Advanced Neural Network Applications参考文献 23被引用 11

一句话总结

本文提出深度卷积活动轮廓（DCAC），一种新颖的端到端可训练图像分割框架，将卷积神经网络（CNNs）与可微分欧拉法活动轮廓相统一。通过CNN主干网络学习像素级参数图（λ1, λ2）和广义距离变换，DCAC实现了无需用户初始化的自动、反向传播兼容的轮廓演化。在航拍建筑实例分割任务中，DCAC在Vaihiken和Bing Huts数据集上显著优于先前方法（如DSAC），达到最先进性能。

ABSTRACT

The Active Contour Model (ACM) is a standard image analysis technique whose numerous variants have attracted an enormous amount of research attention across multiple fields. Incorrectly, however, the ACM's differential-equation-based formulation and prototypical dependence on user initialization have been regarded as being largely incompatible with the recently popular deep learning approaches to image segmentation. This paper introduces the first tight unification of these two paradigms. In particular, we devise Deep Convolutional Active Contours (DCAC), a truly end-to-end trainable image segmentation framework comprising a Convolutional Neural Network (CNN) and an ACM with learnable parameters. The ACM's Eulerian energy functional includes per-pixel parameter maps predicted by the backbone CNN, which also initializes the ACM. Importantly, both the CNN and ACM components are fully implemented in TensorFlow, and the entire DCAC architecture is end-to-end automatically differentiable and backpropagation trainable without user intervention. As a challenging test case, we tackle the problem of building instance segmentation in aerial images and evaluate DCAC on two publicly available datasets, Vaihingen and Bing Huts. Our reseults demonstrate that, for building segmentation, the DCAC establishes a new state-of-the-art performance by a wide margin.

研究动机与目标

• 通过创建真正端到端、可微分的框架，弥合深度学习与活动轮廓模型之间的差距。
• 消除活动轮廓初始化和参数调优中的用户干预，实现完全自动化的分割。
• 改善图像分割中的边界分割，尤其针对航拍图像中复杂且异质的物体（如建筑物）。
• 在具有挑战性的航拍图像实例分割基准上展示最先进性能。

提出的方法

• 该框架将CNN主干与可微分欧拉法活动轮廓模型相结合，其中CNN预测像素级参数图（λ1, λ2）和初始化用的广义距离变换。
• 活动轮廓通过一个局部惩罚能量泛函演化，该泛函完全可微分，并可在TensorFlow中通过反向传播进行训练。
• 零水平集通过学习得到的距离变换初始化，避免了计算昂贵且不可微分的操作。
• 整个架构从零开始端到端训练，无需预训练，实现了CNN与ACM组件的联合优化。
• 训练过程中使用软Dice损失以提高分割精度，尤其增强边界定位精度。
• 该方法支持同时分割多个物体实例，而参数化ACM仅能逐个处理单一实例。

实验结果

研究问题

• RQ1 能否以端到端、反向传播可训练的方式将深度学习框架与活动轮廓模型完全集成？
• RQ2 与常数参数相比，活动轮廓能量泛函中使用像素级可学习参数是否能改善边界分割？
• RQ3 CNN能否在无需用户输入的情况下自动初始化活动轮廓？该方法是否能提升收敛速度与精度？
• RQ4 所提出的框架是否在航拍图像实例分割任务中优于现有最先进方法？
• RQ5 该框架能否处理建筑分割中的复杂拓扑变化和边缘情况？

主要发现

• DCAC在Vaihingen数据集上达到新的最先进mIoU（0.929），在Bing Huts数据集上达到0.860，显著优于DSAC（分别为0.840和0.650）。
• 采用可学习λ1(x,y)和λ2(x,y)参数图的DCAC在Vaihingen数据集上达到BoundF分数0.819，在Bing Huts数据集上达到0.534，表明边界精度显著提升。
• 即使采用固定λ参数的版本，其性能仍优于U-Net和ResNet等标准CNN，但采用空间可变参数的完整DCAC版本性能提升显著。
• DCAC可同时分割多个建筑物，而DSAC仅限单实例处理。
• 视觉对比显示，DCAC在锐利边缘和低对比度区域产生更精确、更细致的边界，而DSAC倾向于过度分割。
• 使用学习得到的距离变换进行初始化可实现更快收敛并避免局部极小值，优于基于圆形的初始化方法。