[论文解读] Learning Dynamic Routing for Semantic Segmentation

Yanwei Li, Lin Song+5 more|arXiv (Cornell University)|Mar 23, 2020

Advanced Neural Network Applications参考文献 57被引用 13

一句话总结

本文提出用于语义分割的动态路由机制，实现数据相关的自适应网络架构，根据输入图像特征选择最优的尺度变换路径。通过可微的软条件门机制，该方法在计算预算下动态剪枝低贡献路径，显著降低FLOPs，同时在Cityscapes和PASCAL VOC 2012数据集上超越固定架构，实现最先进性能。

ABSTRACT

Recently, numerous handcrafted and searched networks have been applied for semantic segmentation. However, previous works intend to handle inputs with various scales in pre-defined static architectures, such as FCN, U-Net, and DeepLab series. This paper studies a conceptually new method to alleviate the scale variance in semantic representation, named dynamic routing. The proposed framework generates data-dependent routes, adapting to the scale distribution of each image. To this end, a differentiable gating function, called soft conditional gate, is proposed to select scale transform paths on the fly. In addition, the computational cost can be further reduced in an end-to-end manner by giving budget constraints to the gating function. We further relax the network level routing space to support multi-path propagations and skip-connections in each forward, bringing substantial network capacity. To demonstrate the superiority of the dynamic property, we compare with several static architectures, which can be modeled as special cases in the routing space. Extensive experiments are conducted on Cityscapes and PASCAL VOC 2012 to illustrate the effectiveness of the dynamic framework. Code is available at https://github.com/yanwei-li/DynamicRouting.

研究动机与目标

• 通过使网络架构能够根据输入图像的尺度分布自适应调整，解决语义分割中的尺度差异问题。
• 设计一种可微分、端到端可训练的路由机制，根据每个输入选择最优的特征变换路径。
• 通过在计算预算约束下动态丢弃低贡献操作，提升效率。
• 在每次前向传播中支持多路径与跳跃连接传播，以增强表征能力。
• 在标准基准测试中，证明其在准确率与效率方面均优于静态架构。

提出的方法

• 提出一种动态路由框架，在推理过程中根据输入生成数据相关的前向路径，使其能够适应每个输入图像的尺度分布。
• 引入一种可微分的软条件门，根据输入特征选择尺度变换路径，支持端到端优化。
• 通过将路由空间扩展至多路径而非单路径管道，实现在每次前向传播中支持多路径与跳跃连接传播。
• 通过可学习系数（λ₂, μ）施加预算约束，动态剪枝低效单元与路径，降低FLOPs。
• 采用简单且无复杂设计的尺度变换模块，以在保持高效性的同时实现优异性能。
• 支持多种静态架构（如FCN、U-Net、DeepLab）作为路由空间中的特例，用于消融实验与对比。

实验结果

研究问题

• RQ1 动态路由机制是否能通过使网络架构自适应输入特定的尺度分布，从而提升语义分割性能？
• RQ2 所提出的软条件门如何实现可微分、端到端学习数据相关的路由决策？
• RQ3 在预算约束下，通过动态剪枝低贡献路径，计算效率最多可提升多少？
• RQ4 在每次前向传播中引入多路径与跳跃连接机制，是否相比单路径路由能显著增强表征能力？
• RQ5 与固定架构模型及NAS方法相比，该动态路由框架在准确率与效率方面表现如何？

主要发现

• 在Cityscapes数据集上，动态网络在验证集上达到78.6%的mIoU，相比BiSeNet绝对提升3.8%，且FLOP成本相近。
• 使用PSP模块后，动态模型在Cityscapes测试集上达到80.7%的mIoU，性能与当前最先进方法相当，但资源消耗更少。
• 在PASCAL VOC 2012数据集上，动态网络在验证集上达到84.0%的mIoU（FLOPs为30.8 GFLOPs），在相近FLOP预算下优于Auto-DeepLab与基于MobileNet的DeepLabV3。
• 在55.7%的FLOP预算下，Dynamic-C将计算成本降低44.3%，mIoU仅下降0.4%，相比原始动态模型。
• 动态路由框架将FLOPs降低至原始成本的37.6%（Dynamic-A），同时保持强劲性能，证明了高效的资源控制能力。
• 消融实验证实，动态路由机制始终优于静态架构，而后者是本方法路由空间中的特例。