[论文解读] Gated Feedback Refinement Network for Coarse-to-Fine Dense Semantic Image Labeling

Md Amirul Islam, Mrigank Rochan+3 more|arXiv (Cornell University)|Jun 29, 2018

Advanced Neural Network Applications参考文献 55被引用 20

一句话总结

本文提出门控反馈精炼网络（G-FRNet），一种新颖的编码器-解码器架构，通过门控反馈连接以粗到精的方式精炼语义分割预测，以解决模糊性并整合局部与全局上下文。该方法在CamVid和Horse-Cow Parsing数据集上达到最先进性能，在PASCAL VOC 2012、PASCAL-Person-Part和SUN-RGBD数据集上也取得具有竞争力的结果，证明了其门控机制和深度监督的有效性。

ABSTRACT

Effective integration of local and global contextual information is crucial for semantic segmentation and dense image labeling. We develop two encoder-decoder based deep learning architectures to address this problem. We first propose a network architecture called Label Refinement Network (LRN) that predicts segmentation labels in a coarse-to-fine fashion at several spatial resolutions. In this network, we also define loss functions at several stages to provide supervision at different stages of training. However, there are limits to the quality of refinement possible if ambiguous information is passed forward. In order to address this issue, we also propose Gated Feedback Refinement Network (G-FRNet) that addresses this limitation. Initially, G-FRNet makes a coarse-grained prediction which it progressively refines to recover details by effectively integrating local and global contextual information during the refinement stages. This is achieved by gate units proposed in this work, that control information passed forward in order to resolve the ambiguity. Experiments were conducted on four challenging dense labeling datasets (CamVid, PASCAL VOC 2012, Horse-Cow Parsing, PASCAL-Person-Part, and SUN-RGBD). G-FRNet achieves state-of-the-art semantic segmentation results on the CamVid and Horse-Cow Parsing datasets and produces results competitive with the best performing approaches that appear in the literature for the other three datasets.

研究动机与目标

• 为解决密集语义图像标注中局部细节与全局上下文之间的平衡挑战。
• 克服深度网络编码过程中特征模糊性和空间分辨率损失的局限性。
• 通过深层特征提供的门控反馈，实现粗预测的迭代精炼，从而提升分割精度。
• 证明新型门控机制在调节特征流以解决模糊性方面的有效性。
• 在多个阶段提供深度监督，以增强训练稳定性和性能。

提出的方法

• 提出一种粗到精的精炼框架，其中分割预测从低分辨率到高分辨率逐步迭代精炼。
• 引入门控单元，调节从编码器到解码器的特征流，有选择性地传递相关特征以解决模糊性。
• 采用乘法门控（逐元素乘积）机制，基于高层上下文抑制错误表征并增强正确表征。
• 在编码器和解码器层之间使用跳跃连接，以保留早期特征图中的空间细节。
• 在不同阶段应用多个深度监督损失，以指导训练并改善收敛性。
• 通过添加可学习门控的循环式反馈路径，使任意前馈卷积神经网络可适配该精炼机制。

实验结果

研究问题

• RQ1 具有门控反馈的粗到精精炼策略是否能超越标准编码器-解码器网络，在密集图像标注中实现更优性能？
• RQ2 利用高层上下文，乘法门控机制在解决早期低分辨率特征的模糊性方面有多有效？
• RQ3 在多个阶段施加深度监督是否能提升语义分割模型的性能与训练稳定性？
• RQ4 所提出的架构在具有不同物体尺度和场景复杂度的多样化数据集上是否具备良好的泛化能力？
• RQ5 跳跃连接与门控反馈在多大程度上减少了语义分割中的误差传播？

主要发现

• G-FRNet在CamVid数据集上达到最先进性能，平均交并比（mIoU）为71.6%。
• 在Horse-Cow Parsing数据集上，G-FRNet的mIoU达到86.3%，优于先前方法。
• 在PASCAL VOC 2012数据集上，G-FRNet在验证集上达到68.7%的mIoU，显著优于标签精炼网络（LRN）基线的66.76%。
• 消融实验表明，乘法门控机制优于加法交互方式，mIoU提升1.94个百分点。
• 定性结果表明，在不同光照条件下，模型对细粒度细节（如柱状物、行人和自行车）的定位能力得到显著改善。
• 该模型在未修改架构的情况下，对PASCAL-Person-Part和SUN-RGBD数据集也展现出强大的泛化能力，取得具有竞争力的结果。