[论文解读] Multi-Scale Context Aggregation by Dilated Convolutions

Fisher Yu, Vladlen Koltun|arXiv (Cornell University)|Nov 23, 2015

Domain Adaptation and Few-Shot Learning参考文献 5被引用 1,572

一句话总结

本文提出一种基于空洞卷积的多尺度上下文聚合模块，用于语义分割，可在不损失空间分辨率的情况下提升性能。通过空洞卷积实现感受野的指数级扩展，该方法在密集预测任务中显著提升准确率，当集成到现有架构中时，优于先前的最先进模型（如DeepLab++和CRF-RNN）。

ABSTRACT

State-of-the-art models for semantic segmentation are based on adaptations of convolutional networks that had originally been designed for image classification. However, dense prediction and image classification are structurally different. In this work, we develop a new convolutional network module that is specifically designed for dense prediction. The presented module uses dilated convolutions to systematically aggregate multi-scale contextual information without losing resolution. The architecture is based on the fact that dilated convolutions support exponential expansion of the receptive field without loss of resolution or coverage. We show that the presented context module increases the accuracy of state-of-the-art semantic segmentation systems. In addition, we examine the adaptation of image classification networks to dense prediction and show that simplifying the adapted network can increase accuracy.

研究动机与目标

• 解决在语义分割中结合多尺度上下文推理与全分辨率输出的挑战。
• 设计一种专用于密集预测的卷积模块，超越对图像分类网络的适应性改造。
• 证明从重新利用的分类网络中移除冗余组件可提升密集预测任务的性能。
• 评估所提出的上下文模块在提升最先进分割架构准确率方面的有效性。

提出的方法

• 该方法利用空洞卷积系统性地扩展感受野，同时避免下采样或分辨率损失。
• 上下文模块被设计为由空洞卷积层构成的长方体结构，不包含池化或下采样操作。
• 通过应用膨胀率，实现感受野的指数级扩展，同时保持完整的空间分辨率。
• 该模块为即插即用设计，可插入现有分割架构中的任意分辨率位置。
• 该方法通过依赖空洞卷积进行上下文聚合，避免了多尺度输入处理或重复的上采样操作。
• 在Pascal VOC 2012数据集上进行受控实验，以隔离上下文模块的贡献。

实验结果

研究问题

• RQ1 基于空洞卷积的专用上下文聚合模块是否能在不损失分辨率的情况下提升语义分割的准确率？
• RQ2 图像分类网络中的冗余组件在密集预测任务中在多大程度上限制了性能？
• RQ3 用单一的、基于空洞卷积的模块替代金字塔形架构，是否能在语义分割中实现更好的性能？
• RQ4 与CRF-RNN和DeepLab++等最先进模型相比，所提出的上下文模块在准确率和鲁棒性方面表现如何？

主要发现

• 仅使用上下文模块（无结构化预测）时，在Pascal VOC 2012测试集上的表现已优于DeepLab++架构。
• 结合CRF-RNN结构化预测模块后，上下文模块实现了75.3%的平均IoU，优于CRF-RNN单独使用时的74.7%。
• 在VOC-2012测试集上，上下文模块实现了73.5%的平均IoU，超过DeepLab++的72.7%。
• 移除冗余组件后的简化前端网络在准确率上优于先前对图像分类网络的适应性改造。
• 失败案例显示，模型在细粒度或模糊的物体边界上仍存在困难，表明未来仍有改进空间。