[论文解读] Multi-Path Feedback Recurrent Neural Network for Scene Parsing

Xiaojie Jin, Yunpeng Chen+3 more|arXiv (Cornell University)|Aug 27, 2016

Advanced Neural Network Applications参考文献 28被引用 13

一句话总结

本文提出多路径反馈循环神经网络（MPF-RNN），通过从顶层到底层多个加权循环连接，增强长距离上下文建模能力，从而提升场景解析性能。通过融合多时间步特征并采用累积损失策略，MPF-RNN在五个基准数据集上取得最先进性能，包括在ADE20K数据集上相较ResNet101-Baseline实现2.78%的mIOU绝对提升。

ABSTRACT

In this paper, we consider the scene parsing problem and propose a novel Multi-Path Feedback recurrent neural network (MPF-RNN) for parsing scene images. MPF-RNN can enhance the capability of RNNs in modeling long-range context information at multiple levels and better distinguish pixels that are easy to confuse. Different from feedforward CNNs and RNNs with only single feedback, MPF-RNN propagates the contextual features learned at top layer through extit{multiple} weighted recurrent connections to learn bottom features. For better training MPF-RNN, we propose a new strategy that considers accumulative loss at multiple recurrent steps to improve performance of the MPF-RNN on parsing small objects. With these two novel components, MPF-RNN has achieved significant improvement over strong baselines (VGG16 and Res101) on five challenging scene parsing benchmarks, including traditional SiftFlow, Barcelona, CamVid, Stanford Background as well as the recently released large-scale ADE20K.

研究动机与目标

• 解决深度卷积神经网络中长距离上下文建模能力有限的问题，尤其针对场景解析中模糊像素的区分挑战。
• 克服单反馈RNN与前馈CNN在特征学习过程中无法将高层上下文信息有效传递至低层的局限性。
• 通过整合多步循环过程中的上下文信息并采用累积损失训练策略，提升小目标的判别能力。
• 在包含ADE20K在内的多样化、大规模场景解析数据集上，验证所提方法的可扩展性与鲁棒性。
• 设计一种新型网络架构，显式地将全局上下文信息融入多个隐藏层的训练过程，增强特征表征能力。

提出的方法

• 从顶层输出构建多个加权循环连接，下传至多个中间卷积层（如conv4_1、conv4_9等），以向下传递高层上下文特征。
• 采用多步反馈机制，将每个循环时间步的特征进行融合，用于最终的像素级分类，提升特征判别能力。
• 引入累积损失策略，聚合所有循环步骤的损失，以更有效地监督特征学习，尤其对小目标具有显著优势。
• 在主干网络（如ResNet101）中应用空洞卷积与转置卷积层，以保持密集的空间分辨率并生成全分辨率分割图。
• 使用标准优化方法进行训练，结合数据增强（随机裁剪与翻转），并通过训练集的验证子集微调超参数。
• 通过逐元素拼接或加权求和的方式融合多步输出，再进行最终分类，实现更丰富的上下文表征。

实验结果

研究问题

• RQ1 与单反馈RNN相比，从顶层到多个隐藏层的多路径反馈连接是否能显著提升场景解析中的上下文建模能力？
• RQ2 在多个循环时间步上融合特征是否能带来更好的语义判别能力，特别是对小目标或模糊目标？
• RQ3 所提出的MPF-RNN架构是否能在多样化且具有挑战性的场景解析基准上超越VGG16和ResNet101等强基线模型？
• RQ4 累积损失策略对复杂场景中微小目标特征学习有何影响？
• RQ5 MPF-RNN在包含150类、高分辨率的大规模数据集（如ADE20K）上的可扩展性与有效性如何？

主要发现

• 在ADE20K验证集上，MPF-RNN达到34.63%的mIOU，相较ResNet101-Baseline提升1.98个百分点，相较PA提升2.78个百分点。
• 在CamVid数据集上，MPF-RNN实现92.8%的像素准确率与82.3%的类别准确率，分别优于最先进方法1个与4个百分点。
• 在Barcelona数据集上，MPF-RNN实现78.5%的像素准确率与29.3%的类别准确率，分别超出最先进方法约4个与5个百分点。
• 在Stanford Background数据集上，MPF-RNN实现86.6%的像素准确率与79%的类别准确率，相较之前最先进方法分别提升3个与5个百分点。
• 在SiftFlow数据集上，MPF-RNN实现86.4%与76.3%的mIOU，显著优于VGG16与ResNet101基线模型，表明在各类数据集上均具有一致性优势。
• 消融实验验证了多路径反馈与多步特征融合的必要性，且累积损失策略对小目标解析至关重要。