[论文解读] Mixed context networks for semantic segmentation
本文提出了一种新型模块——混合上下文网络（MCN），通过动态融合具有不同感受野的多空洞卷积特征，以提升语义分割性能。通过自适应地学习相关尺度的权重，MCN在PASCAL VOC 2012（80.6%平均IoU）和MIT SceneParsing150（多尺度输入下41.58%平均IoU）上均取得超越先前基于FCN模型的性能表现。
Semantic segmentation is challenging as it requires both object-level information and pixel-level accuracy. Recently, FCN-based systems gained great improvement in this area. Unlike classification networks, combining features of different layers plays an important role in these dense prediction models, as these features contains information of different levels. A number of models have been proposed to show how to use these features. However, what is the best architecture to make use of features of different layers is still a question. In this paper, we propose a module, called mixed context network, and show that our presented system outperforms most existing semantic segmentation systems by making use of this module.
研究动机与目标
- 解决在语义分割中捕捉多尺度上下文信息时特征融合性能不足的问题。
- 设计一种可学习模块，动态结合具有不同采样率的多空洞卷积特征。
- 在不显著增加计算成本的前提下，提升密集预测任务中的实例级与像素级精度。
- 提升在对象尺寸差异较大的数据集（如PASCAL VOC 2012和MIT SceneParsing150）上的性能表现。
提出的方法
- 提出混合上下文网络（MCN），一种可学习模块，用于融合具有不同采样率的多空洞卷积层的特征图。
- 采用多分支结构，每个分支应用具有不同空洞率的空洞卷积，以捕捉多样化的感受野。
- 使用可学习权重动态组合特征，使网络能够为每个空间位置自适应识别最相关的尺度。
- 引入内存高效的讯息传递网络（MPN），以增强预测标签的空间一致性。
- 将MCN作为即插即用模块集成到FCN-32s主干网络之后，输入为conv4_3、conv5_3和fc7的特征图。
- 应用跳跃连接（长连接与短连接）以改善最终结构中的梯度流动与特征传播。
实验结果
研究问题
- RQ1可学习的特征融合机制是否能在语义分割中超越固定或线性组合的多尺度特征？
- RQ2在空洞卷积中对特征进行自适应加权，对不同尺寸物体的性能有何影响？
- RQ3所提出的MCN模块是否能在具有复杂场景布局与类别不平衡的多样化数据集上实现良好泛化？
- RQ4如MPN这类内存高效的优化模块，是否能在不增加推理成本的前提下提升空间一致性？
主要发现
- MCN模块在PASCAL VOC 2012验证集上达到80.6%的平均IoU，优于FCN-32s基线模型（78.4%）及其他变体。
- 在多尺度输入下，FCN_MCN模型在PASCAL VOC 2012测试集上达到81.4%的平均IoU。
- 在MIT SceneParsing150上，FCN_MCN_REFINE_MPN + 多尺度模型在验证集上达到41.58%的平均IoU。
- 讯息传递网络（MPN）提升了空间一致性，相较于FCN_MCN_REFINE，平均IoU绝对提升0.48%。
- 在MCN中增加长连接后，相比FCN_MCN，性能提升0.4%，表明残差学习有助于增强特征传播。
- MCN模块在PASCAL VOC 2012与MIT SceneParsing150上均表现出一致的性能增益，证明其对数据集与尺度变化具有强鲁棒性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。