[论文解读] Convolutional Random Walk Networks for Semantic Image Segmentation

Gedas Bertasius, Lorenzo Torresani+2 more|arXiv (Cornell University)|May 24, 2016

Advanced Neural Network Applications参考文献 22被引用 14

一句话总结

本文提出卷积随机游走网络（RWNs），一种轻量级、端到端可训练的架构，通过将新型随机游走层集成到全卷积网络（FCNs）中，提升语义图像分割性能。该方法通过矩阵乘法联合优化像素亲和力与分割结果，仅增加131个参数，即可在准确率和效率上超越FCNs及密集CRF后处理方法，显著改善边界定位与空间一致性。

ABSTRACT

Most current semantic segmentation methods rely on fully convolutional networks (FCNs). However, their use of large receptive fields and many pooling layers cause low spatial resolution inside the deep layers. This leads to predictions with poor localization around the boundaries. Prior work has attempted to address this issue by post-processing predictions with CRFs or MRFs. But such models often fail to capture semantic relationships between objects, which causes spatially disjoint predictions. To overcome these problems, recent methods integrated CRFs or MRFs into an FCN framework. The downside of these new models is that they have much higher complexity than traditional FCNs, which renders training and testing more challenging. In this work we introduce a simple, yet effective Convolutional Random Walk Network (RWN) that addresses the issues of poor boundary localization and spatially fragmented predictions with very little increase in model complexity. Our proposed RWN jointly optimizes the objectives of pixelwise affinity and semantic segmentation. It combines these two objectives via a novel random walk layer that enforces consistent spatial grouping in the deep layers of the network. Our RWN is implemented using standard convolution and matrix multiplication. This allows an easy integration into existing FCN frameworks and it enables end-to-end training of the whole network via standard back-propagation. Our implementation of RWN requires just $131$ additional parameters compared to the traditional FCNs, and yet it consistently produces an improvement over the FCNs on semantic segmentation and scene labeling.

研究动机与目标

• 为解决全卷积网络（FCNs）因感受野过大和池化层导致的边界定位不佳问题。
• 克服后处理CRF导致的空间碎片化预测问题，后者无法捕捉对象间的语义关系。
• 开发一种在不显著增加模型复杂度或复杂训练过程的前提下提升分割准确率的方法。
• 通过将可微分随机游走层集成到现有FCN框架中，实现使用标准反向传播的端到端训练。

提出的方法

• RWN采用双分支架构：一个分支用于语义分割，另一个分支用于预测像素级亲和力。
• 提出一种新型可微分随机游走层，通过矩阵乘法在深层强制实现空间一致性，融合两个分支。
• 随机游走层基于学习到的亲和力在像素间传播分割置信度，实现预测的迭代优化。
• 整个网络通过标准反向传播进行端到端训练，随机游走层使用标准卷积与矩阵运算实现。
• 该方法仅需131个额外可学习参数，使其几乎与标准FCNs一样轻量。
• 通过可调节的半径大小支持灵活的图结构，使模型能适应不同的空间关系。

实验结果

研究问题

• RQ1 能否有效将可微分随机游走层集成到FCN中，在不增加模型复杂度的前提下改善边界定位？
• RQ2 像素亲和力与分割损失的联合优化如何影响空间一致性和分割准确率？
• RQ3 所提出的RWN能否在保持高效与端到端可训练性的同时，优于FCN基线模型和密集CRF后处理方法？
• RQ4 收敛时达到峰值性能的最优随机游走迭代次数是多少？
• RQ5 亲和图中的半径大小如何影响分割准确率与模型灵活性？

主要发现

• 与DeepLab-largeFOV基线相比，RWN在Stanford Background数据集上提升平均IOU 2.57%，在Sift-Flow数据集上提升2.54%。
• 在Pascal SBD数据集上，采用单次随机游走迭代与R=40时，RWN达到82.2%的IOU，超过经过密集CRF后处理的DeepLab_v2（81.9% IOU），且速度提升逾100倍。
• 随着随机游走步数增加，分割准确率持续提升并在收敛时达到峰值，证实了迭代优化的有效性。
• 使用R=5并运行至收敛时，准确率略高（77.9% IOU），优于R=40单步（75.5% IOU），但两种配置均对半径选择表现出强鲁棒性。
• 模型保持79 MB的紧凑尺寸，与标准FCNs相当，无需后处理或复杂训练方案。
• 消融实验表明，随机游走层能有效优化预测，使物体边界更清晰、定位更准确。