[论文解读] Beyond Forward Shortcuts: Fully Convolutional Master-Slave Networks (MSNets) with Backward Skip Connections for Semantic Segmentation

Abrar H. Abdulnabi, Stefan Winkler+1 more|arXiv (Cornell University)|Jul 18, 2017

Multimodal Machine Learning Applications参考文献 37被引用 5

一句话总结

本文提出全卷积主从网络（MSNets），采用反向跳跃连接机制，其中‘从网络’将高层上下文特征反馈至‘主网络’的低层，以提升特征学习效果。该方法在ADE20K、PASCAL-Context和PASCAL VOC 2011数据集上达到最先进性能，通过在低层特征中引入早期上下文感知能力，仅使用反向跳跃连接即优于基线方法。

ABSTRACT

Recent deep CNNs contain forward shortcut connections; i.e. skip connections from low to high layers. Reusing features from lower layers that have higher resolution (location information) benefit higher layers to recover lost details and mitigate information degradation. However, during inference the lower layers do not know about high layer features, although they contain contextual high semantics that benefit low layers to adaptively extract informative features for later layers. In this paper, we study the influence of backward skip connections which are in the opposite direction to forward shortcuts, i.e. paths from high layers to low layers. To achieve this -- which indeed runs counter to the nature of feed-forward networks -- we propose a new fully convolutional model that consists of a pair of networks. A `Slave' network is dedicated to provide the backward connections from its top layers to the `Master' network's bottom layers. The Master network is used to produce the final label predictions. In our experiments we validate the proposed FCN model on ADE20K (ImageNet scene parsing), PASCAL-Context, and PASCAL VOC 2011 datasets.

研究动机与目标

• 解决标准全卷积网络（FCN）在特征提取过程中低层缺乏高层上下文感知的问题。
• 探究从高层到低层的反向跳跃连接是否能提升语义分割性能。
• 设计一种可训练、端到端的全卷积架构，实现反向信息流动，同时避免循环依赖。
• 证明即使在本质上为前馈结构的网络中，高层特征对低层特征学习仍具有显著益处。

提出的方法

• 模型由两个并行的FCN-8s网络构成：一个‘主网络’用于最终预测，一个‘从网络’用于提供反向跳跃连接。
• 反向跳跃连接将从网络高层的特征图传递至主网络对应层的低层特征中。
• 主网络在原始pool3和pool4跳跃连接的基础上，增加了额外的前向跳跃连接。
• 整个MSNet采用端到端训练，从网络不生成任何输出，仅用于实现特征反馈。
• 从网络顶层的特征图经过上采样后，与主网络低层特征进行拼接，以增强早期表示的丰富性。
• 通过将前向预测路径与反馈路径解耦，避免循环依赖，保持前馈结构。

实验结果

研究问题

• RQ1 在全卷积网络中，从高层到低层的反向跳跃连接是否能提升语义分割性能？
• RQ2 向低层提供高层上下文特征是否能提升早期层的特征学习能力？
• RQ3 与标准前向跳跃连接相比，反向跳跃连接在FCN中的性能表现如何？
• RQ4 能否在不破坏前馈计算图的前提下，将反向跳跃连接集成到标准FCN中？
• RQ5 所提出的MSNet架构是否与现有的上下文建模技术（如CRF）具有互补性？

主要发现

• 仅使用反向跳跃连接的MSNet-FB2在三个数据集上均优于FCN-8s-F1和FCN-8s-F2，证明了反向连接的有效性。
• 在PASCAL-Context验证集上，MSNet-FB1达到73.0%像素准确率、53.5%类别准确率和42.1%交并比，优于FCN-8s及其他基线方法。
• 在ADE20K验证集上，MSNet-FB2达到75.7%像素准确率和33.8%交并比，优于FCN-8s及其他同类方法。
• 在PASCAL VOC 2011测试集上，MSNet-FB2达到70.5%交并比，显著优于FCN-8s（62.7%），并接近最先进方法。
• 当与全连接条件随机场（Fully-connected CRF）结合时，MSNet-FB2+CRF相比MSNet-FB2单独使用提升1.0%，证实其与现有上下文建模技术具有互补性。
• 结果表明，高层特征对低层特征提取具有显著益处，即使在标准前馈网络架构中亦然。