[论文解读] Improving Semantic Segmentation via Dilated Affinity

Boxi Wu, Shuai Zhao+3 more|arXiv (Cornell University)|Jul 16, 2019

Advanced Neural Network Applications参考文献 26被引用 4

一句话总结

本文提出了一种称为空洞亲和力（dilated affinity）的简单而有效的方法，通过联合训练网络以预测语义标签和稀疏、结构化的像素级亲和力，从而提升语义分割性能。通过直接使用空洞亲和力进行监督——该亲和力捕捉了像素之间的长程、结构化关系——该方法增强了特征表示，并可通过亲和力传播实现快速、后处理式的优化，仅带来极少的计算开销，在 PASCAL VOC 2012 和 Cityscapes 上均实现了最先进性能。

ABSTRACT

Introducing explicit constraints on the structural predictions has been an effective way to improve the performance of semantic segmentation models. Existing methods are mainly based on insufficient hand-crafted rules that only partially capture the image structure, and some methods can also suffer from the efficiency issue. As a result, most of the state-of-the-art fully convolutional networks did not adopt these techniques. In this work, we propose a simple, fast yet effective method that exploits structural information through direct supervision with minor additional expense. To be specific, our method explicitly requires the network to predict semantic segmentation as well as dilated affinity, which is a sparse version of pair-wise pixel affinity. The capability of telling the relationships between pixels are directly built into the model and enhance the quality of segmentation in two stages. 1) Joint training with dilated affinity can provide robust feature representations and thus lead to finer segmentation results. 2) The extra output of affinity information can be further utilized to refine the original segmentation with a fast propagation process. Consistent improvements are observed on various benchmark datasets when applying our framework to the existing state-of-the-art model. Codes will be released soon.

研究动机与目标

• 解决现有方法依赖启发式、手工设计的结构先验进行语义分割所存在的局限性。
• 通过直接监督显式建模像素之间的结构关系，提升分割性能。
• 开发一种轻量化、高效的改进方法，增强训练与推理过程，且无需额外标注或复杂后处理。
• 通过空洞亲和力将结构归纳偏置整合到网络中，实现在多样化基准上的一致性能提升。

提出的方法

• 该方法引入一个双头网络，同时预测语义分割结果与空洞亲和力——一种稀疏、结构化的成对像素亲和力形式。
• 空洞亲和力在中心像素与其在多个精心选择的空洞率（例如 8、16、32、64）下的邻居之间计算，既捕捉长程依赖，又保持局部性。
• 模型采用联合损失函数进行训练：语义分割使用交叉熵损失，亲和力预测使用加权损失，权重方案（如平方根重加权）通过交叉验证进行优化。
• 训练完成后，利用预测的亲和力图在快速迭代的亲和力传播过程中对初始分割预测进行优化。
• 传播步骤利用预测亲和力的结构一致性，对噪声较大的预测进行平滑处理，并锐化物体边界。
• 该方法与现有最先进模型（如 DeepLabv3+）兼容，仅需轻微的网络结构修改和可忽略的额外计算。

实验结果

研究问题

• RQ1 对像素级结构关系进行显式监督是否能提升语义分割性能？
• RQ2 空洞亲和力与密集条件随机场（CRF）或启发式损失重加权相比，在捕捉有意义图像结构方面表现如何？
• RQ3 亲和力学习与传播中，空洞率与权重方案的最佳配置是什么？
• RQ4 预测的亲和力图是否能以快速、后处理方式有效优化分割结果？
• RQ5 分割与亲和力的联合训练是否能生成比标准训练更优的特征表示？

主要发现

• 在 PASCAL VOC 2012 上，所提方法实现了 79.21% 的平均交并比（mIoU），比基线模型 DeepLabv3+ 提升了 1.28 个百分点。
• 在 Cityscapes 上，mIoU 从基线的 77.15% 提升至 78.70%，表明在不同数据集上均具有稳定的性能增益。
• 使用预测亲和力图进行亲和力传播后，mIoU 在 10 次迭代内从 78.62% 提升至 79.21%，证明了优化步骤的有效性。
• 若在传播中使用真实标签亲和力图，性能进一步提升至 83.59% mIoU，证实预测亲和力中蕴含了有价值的结构信息。
• 平方根重加权方案在亲和力损失中优于邻近重加权，尤其在较大空洞率下表现更优。
• 最佳性能通过组合空洞率 {8, (12,24), 16} 实现，表明多尺度、非对称感受野有助于捕捉多样化的结构模式。