[论文解读] Light-Weight RefineNet for Real-Time Semantic Segmentation

Vladimir Nekrasov, Chunhua Shen+1 more|arXiv (Cornell University)|Oct 8, 2018

Advanced Neural Network Applications参考文献 57被引用 101

一句话总结

本论文将 RefineNet 改造成一个紧凑的实时语义分割模型，方法是移除冗余模块并用 1x1 卷积替代 3x3 卷积，在参数量减少超过 2 倍的同时几乎不损失精度，且在 512×512 输入下最高可达到 55 FPS。

ABSTRACT

We consider an important task of effective and efficient semantic image segmentation. In particular, we adapt a powerful semantic segmentation architecture, called RefineNet, into the more compact one, suitable even for tasks requiring real-time performance on high-resolution inputs. To this end, we identify computationally expensive blocks in the original setup, and propose two modifications aimed to decrease the number of parameters and floating point operations. By doing that, we achieve more than twofold model reduction, while keeping the performance levels almost intact. Our fastest model undergoes a significant speed-up boost from 20 FPS to 55 FPS on a generic GPU card on 512x512 inputs with solid 81.1% mean iou performance on the test set of PASCAL VOC, while our slowest model with 32 FPS (from original 17 FPS) shows 82.7% mean iou on the same dataset. Alternatively, we showcase that our approach is easily mixable with light-weight classification networks: we attain 79.2% mean iou on PASCAL VOC using a model that contains only 3.3M parameters and performs only 9.3B floating point operations.

研究动机与目标

• 在高分辨率输入上推动实时语义分割。
• 在不显著损失准确度的前提下识别并移除 RefineNet 的计算瓶颈。
• 证明编码器-解码器风格的分割可以通过轻量解码器模块实现加速。
• 展示与轻量骨干网（NASNet-Mobile、MobileNet-v2）及其他骨干网的兼容性。

提出的方法

• 用 1x1 卷积替换 CRP 和融合块中代价高的 3x3 卷积，以减少参数量和 FLOPs。
• 对残差卷积（RCU）采用瓶颈设计，并在冗余时移除 RCU 块。
• 保留带有 5x5 池化的 CRP 块以保持上下文和经验感受野。
• 证明在轻量级方案中省略 RCU 块不会降低性能。
• 在多种骨干网（ResNet-50/101/152、NASNet-Mobile、MobileNet-v2）上验证架构。

实验结果

研究问题

• RQ1 RefineNet 是否可以重构以满足实时约束而不造成较大精度损失？
• RQ2 哪些 RefineNet 组件对性能至关重要，哪些可以移除或简化？
• RQ3 在不同骨干网和数据集上，轻量版 RefineNet 的性能如何？
• RQ4 用 1x1 卷积替代 3x3 卷积是否足以在解码器中保持上下文信息？
• RQ5 该方法是否可以在保持竞争力的分割质量的同时利用轻量骨干网？

主要发现

• 模型规模两倍以上减少并显著的 FLOP 降低，同时保持有竞争力的均值 IoU。
• 最快的 LW-RefineNet 在 512×512 输入上达到 55 FPS，在 PASCAL VOC 测试集上获得 81.1% mIoU。
• 最慢的 LW-RefineNet（仍然快于原始）在 VOC 上达到 82.7% mIoU，速度为 32 FPS。
• 使用 NASNet-Mobile 和 MobileNet-v2 的轻量版在参数量和 FLOPs 大幅减少的情况下获得竞争性 VOC 结果。
• 消融实验显示 CRP 主导分割性能，而在轻量阶段移除 RCU 块几乎不损失或无损失。
• 该方法与多种骨干网兼容，并可通过额外的模型压缩技术来补充。