[论文解读] Combining the Best of Convolutional Layers and Recurrent Layers: A Hybrid Network for Semantic Segmentation

Zhicheng Yan, Hao Zhang+3 more|arXiv (Cornell University)|Mar 15, 2016

Advanced Neural Network Applications参考文献 42被引用 43

一句话总结

该论文提出了一种混合深度ReNet（H-ReNet）网络，将全卷积网络（FCNs）与空间循环层（ReNet）相结合，显式建模语义分割中的长程上下文依赖关系。通过在特征图上扫掠的循环单元，H-ReNet实现了全图感受野、端到端训练，并在PASCAL VOC 2012上超越了当前最优方法，分别在Piecewise、CRFasRNN和DeepParsing的基础上提升了3.6%、2.3%和0.2%。

ABSTRACT

State-of-the-art results of semantic segmentation are established by Fully Convolutional neural Networks (FCNs). FCNs rely on cascaded convolutional and pooling layers to gradually enlarge the receptive fields of neurons, resulting in an indirect way of modeling the distant contextual dependence. In this work, we advocate the use of spatially recurrent layers (i.e. ReNet layers) which directly capture global contexts and lead to improved feature representations. We demonstrate the effectiveness of ReNet layers by building a Naive deep ReNet (N-ReNet), which achieves competitive performance on Stanford Background dataset. Furthermore, we integrate ReNet layers with FCNs, and develop a novel Hybrid deep ReNet (H-ReNet). It enjoys a few remarkable properties, including full-image receptive fields, end-to-end training, and efficient network execution. On the PASCAL VOC 2012 benchmark, the H-ReNet improves the results of state-of-the-art approaches Piecewise, CRFasRNN and DeepParsing by 3.6%, 2.3% and 0.2%, respectively, and achieves the highest IoUs for 13 out of the 20 object classes.

研究动机与目标

• 解决全卷积网络（FCNs）因感受野受限而难以建模长程上下文依赖的局限性。
• 探究循环层是否能够显式捕捉语义分割中的全局空间上下文，从而改善特征表示。
• 设计一种融合卷积与循环层优势的混合架构，以提升性能与效率。
• 实现端到端训练，采用可高效并行化的GPU计算，避免图模型的低效性。
• 通过消融研究与外部对比，证明H-ReNet在PASCAL VOC 2012基准上的最先进性能。

提出的方法

• 引入空间循环层（ReNet层），沿特征图的垂直与水平方向应用RNN，以传播长程空间上下文。
• 通过堆叠ReNet层构建朴素深度ReNet（N-ReNet），在Stanford Background数据集上评估其独立有效性。
• 设计一种混合网络（H-ReNet），在预训练的FCN主干网络之上添加ReNet层，以结合局部特征提取与全局上下文建模能力。
• 通过时间反向传播实现H-ReNet的端到端训练，使卷积与循环组件能够联合优化。
• 利用ReNet层中可并行计算的特性，保持在现代GPU上的高效性，与传统CRFs的串行特性形成对比。
• 对H-ReNet应用DenseCRF后处理以进一步优化，证明循环建模与条件随机场之间的互补性。

实验结果

研究问题

• RQ1 空间循环层是否能有效建模语义分割中的长程上下文依赖关系，超越FCNs的隐式上下文建模能力？
• RQ2 将ReNet层与FCNs结合后，对特征表示质量与分割准确率有何影响？
• RQ3 该混合H-ReNet架构是否在PASCAL VOC 2012等标准基准上实现最先进性能？
• RQ4 ReNet层在模糊图像区域中对边界定位与区域识别的改善程度如何？
• RQ5 循环机制是否能以端到端、GPU可并行化的方式高效训练与执行，且不损失性能？

主要发现

• 在PASCAL VOC 2012测试集上，H-ReNet结合DenseCRF后处理后达到74.3%的平均交并比（mIoU），比之前最先进方法DeepParsing高出0.2%。
• 在PASCAL VOC 2012验证集上，H-ReNet在mIoU上分别较Piecewise高出3.6%、较CRFasRNN高出2.3%、较DeepParsing高出0.2%。
• 在PASCAL VOC 2012基准中，H-ReNet在20个物体类别中的13个类别上达到最高IoU，展现出优越的类别特定性能。
• 定性对比显示，H-ReNet通过利用全局上下文，能更准确地解析模糊区域——例如完整检测飞机机身与鸟类躯干。
• 当使用额外的MS COCO数据进行训练时，H-ReNet结合DenseCRF后处理在VOC 2012测试集上达到76.8%的mIoU，优于相同条件下CRFasRNN（74.7%）与DeepParsing（77.5%）。
• 消融研究证实，ReNet层显著增强了特征表示，可视化结果表明其学习到的特征具有类似深层CNN的层次结构。