[论文解读] CaseNet: Content-Adaptive Scale Interaction Networks for Scene Parsing

Xin Jin, Cuiling Lan+3 more|arXiv (Cornell University)|Apr 17, 2019

Advanced Image and Video Retrieval Techniques参考文献 89被引用 5

一句话总结

该论文提出CASINet，一种用于场景解析的内容自适应尺度交互网络，通过上下文尺度交互（CSI）模块和尺度自适应（SA）模块增强多尺度特征学习。通过实现空间自适应滤波和软性、内容感知的尺度选择，CASINet在Cityscapes（82.75% mIoU）、ADE20K（45.61% mIoU）和LIP（55.14% mIoU）基准上实现了最先进性能。

ABSTRACT

Objects at different spatial positions in an image exhibit different scales. Adaptive receptive fields are expected to capture suitable ranges of context for accurate pixel level semantic prediction. Recently, atrous convolution with different dilation rates has been used to generate features of multi-scales through several branches which are then fused for prediction. However, there is a lack of explicit interaction among the branches of different scales to adaptively make full use of the contexts. In this paper, we propose a Content-Adaptive Scale Interaction Network (CASINet) to exploit the multi-scale features for scene parsing. We build CASINet based on the classic Atrous Spatial Pyramid Pooling (ASPP) module, followed by a proposed contextual scale interaction (CSI) module, and a scale adaptation (SA) module. Specifically, in the CSI module, for each spatial position of some scale, instead of being limited by a fixed set of convolutional filters that are shared across different spatial positions for feature learning, we promote the adaptivity of the convolutional filters to spatial positions. We achieve this by the context interaction among the features of different scales. The SA module explicitly and softly selects the suitable scale for each spatial position and each channel. Ablation studies demonstrate the effectiveness of the proposed modules. We achieve state-of-the-art performance on three scene parsing benchmarks Cityscapes, ADE20K and LIP.

研究动机与目标

• 解决CNN中固定感受野在处理场景解析尺度变化时的局限性。
• 克服现有多尺度网络中固定卷积滤波器和静态特征融合的僵化问题。
• 通过利用跨尺度上下文和空间-通道自适应性，实现内容自适应的特征优化与尺度选择。
• 通过显式建模尺度交互与自适应融合，提升在多样化基准上的语义分割精度。
• 开发一种轻量化但高效的模块，在无需大幅修改网络架构的前提下增强标准ASPP模块。

提出的方法

• 基于空洞空间金字塔池化（ASPP）模块，利用不同空洞率的空洞卷积生成多尺度特征。
• 引入上下文尺度交互（CSI）模块，通过跨尺度的非局部操作对多尺度特征进行加权融合，计算自适应滤波响应。
• 在CSI中使用可学习注意力权重，根据空间位置和内容相关性动态组合来自不同尺度的特征。
• 提出尺度自适应（SA）模块，对每个特征图位置实现空间与通道维度的软性、自适应尺度选择，以确定最合适的尺度。
• 在SA中采用可学习融合机制，结合注意力权重与多尺度特征，生成上下文相关的表征。
• 在ASPP之后集成CSI与SA模块，随后通过最终的卷积层和Softmax层实现像素级语义预测。

实验结果

研究问题

• RQ1 能否基于局部上下文与跨尺度相关性，自适应地优化多尺度特征，以提升特征表征能力？
• RQ2 能否通过动态选择而非固定融合方式，为每个空间位置和通道选择最优尺度？
• RQ3 与固定或非自适应融合相比，尺度间的内容自适应交互是否能显著提升场景解析基准上的性能？
• RQ4 所提出的模块是否能在尺度分布与物体复杂度各异的多样化数据集上实现性能提升？
• RQ5 CSI与SA模块的集成如何影响模型在遮挡或尺度重叠等复杂场景下的鲁棒性与准确性？

主要发现

• CASINet在Cityscapes验证集上达到82.75% mIoU，优于先前最先进方法。
• 在ADE20K验证集上，CASINet达到45.61% mIoU，较基线模型（43.67%）提升1.94%，较先前SOTA结果提升0.16%。
• 在LIP数据集上，CASINet达到55.14% mIoU，较基线提升3.73%，较先前SOTA（53.10% with CE2P）提升2.01%。
• 消融实验表明，CSI与SA模块均对性能提升有显著贡献，其中CSI提升特征优化能力，SA实现高效的尺度选择。
• 该模型在未使用ImageNet预训练的情况下仍达到最先进性能，证明所提模块本身具有强大有效性。
• 尽管性能优异，该方法在处理遮挡和重叠物体时仍存在局限，尺度交互可能降低类别边界处的判别能力。