[论文解读] DifNet: Semantic Segmentation by Diffusion Networks

Peng Jiang, Fanglin Gu+3 more|arXiv (Cornell University)|May 21, 2018

Advanced Neural Network Applications参考文献 19被引用 18

一句话总结

DifNet 提出了一种新颖的语义分割框架，将任务分解为种子检测与相似性估计，通过在分层相似性矩阵上进行级联随机游走，将种子信息在整个图像中传播。这种基于扩散的方法提升了边界定位精度并减少了空间碎片化，在 Pascal VOC 和 Pascal Context 上实现了端到端训练且无需后处理的最先进性能。

ABSTRACT

Deep Neural Networks (DNNs) have recently shown state of the art performance on semantic segmentation tasks, however, they still suffer from problems of poor boundary localization and spatial fragmented predictions. The difficulties lie in the requirement of making dense predictions from a long path model all at once since details are hard to keep when data goes through deeper layers. Instead, in this work, we decompose this difficult task into two relative simple sub-tasks: seed detection which is required to predict initial predictions without the need of wholeness and preciseness, and similarity estimation which measures the possibility of any two nodes belong to the same class without the need of knowing which class they are. We use one branch network for one sub-task each, and apply a cascade of random walks base on hierarchical semantics to approximate a complex diffusion process which propagates seed information to the whole image according to the estimated similarities. The proposed DifNet consistently produces improvements over the baseline models with the same depth and with the equivalent number of parameters, and also achieves promising performance on Pascal VOC and Pascal Context dataset. OurDifNet is trained end-to-end without complex loss functions.

研究动机与目标

• 解决基于深度学习的语义分割中边界定位不佳和空间碎片化的问题。
• 通过将任务分解为两个更简单的子任务（种子检测与相似性估计）来减轻密集预测的负担。
• 通过基于分层语义相似性的扩散过程建模长距离依赖关系，并保留细粒度细节。
• 在参数量和深度与基线模型相当的情况下，实现一致的性能提升。
• 实现端到端训练，无需复杂的损失函数或后处理。

提出的方法

• 该模型采用双分支架构：一个种子分支用于预测初始得分图和重要性图，一个相似性分支用于提取多层级特征并计算转移矩阵。
• 转移矩阵表示像素之间随机游走的概率，编码了不同抽象层次上的语义相似性。
• 五个随机游走操作的级联近似模拟了一个复杂的扩散过程，每一步通过加权估计的相似性聚合种子值来优化预测。
• 扩散过程将最终像素响应计算为种子值的加权和，实现与空间距离无关的非局部、长距离特征传播。
• 重要性图动态调节种子的影响，抑制噪声或无关区域，增强显著物体部分的响应。
• 整个网络使用标准交叉熵损失进行端到端训练，无需额外的后处理或辅助损失。

实验结果

研究问题

• RQ1 将语义分割分解为种子检测与相似性估计是否能改善边界定位并减少空间碎片化？
• RQ2 在分层相似性矩阵上进行级联随机游走是否能有效建模语义分割中的长距离依赖？
• RQ3 所提出的扩散机制是否在相同深度和参数量下优于标准的 FCN 基模型？
• RQ4 重要性图在扩散过程中如何影响分割预测的优化？
• RQ5 该模型是否能在无需复杂损失函数或 CRF 后处理的情况下实现优异性能？

主要发现

• DifNet 在 Pascal VOC 2012 和 Pascal Context 数据集上，与相同深度和等效参数量的基线模型相比，均实现了稳定的性能提升。
• 该模型在 Pascal VOC 2012 验证集上实现了 83.4% 的平均交并比（mIoU），表现出最先进性能。
• 在级联过程中移除第 2 和第 4 次随机游走会导致 Pascal VOC 上性能下降 1%，验证了每一步扩散过程的重要性。
• DifNet-50 的推理时间与 Sim-Deeplab-101 相当（0.039s vs. 0.036s），通过模型并行化有实现 2 倍加速的潜力。
• 反向传播时间比 Sim-Deeplab-101 长 1.3 倍，这是由于分支间参数相互影响所致，但考虑到推理优势，该开销可接受。
• 可视化结果表明，转移矩阵同时捕捉了低层次（纹理、颜色）和高层次（物体级）的相似性，长距离依赖关系得到有效建模。