[论文解读] Learning Deep Representations for Scene Labeling with Semantic Context Guided Supervision

Zhe Wang, Hongsheng Li+2 more|arXiv (Cornell University)|Jun 8, 2017

Multimodal Machine Learning Applications参考文献 42被引用 3

一句话总结

本文提出了一种新颖方法，通过利用语义上下文——具体而言，图像场景名称和局部标签图统计量——来学习更具判别性的深度特征，以实现场景标注中更少类内差异的分层子类。通过在微调策略中使用这些子类作为监督信号，该方法在不增加模型复杂度的情况下提升了分割精度，在四个基准数据集上实现了最先进性能。

ABSTRACT

Scene labeling is a challenging classification problem where each input image requires a pixel-level prediction map. Recently, deep-learning-based methods have shown their effectiveness on solving this problem. However, we argue that the large intra-class variation provides ambiguous training information and hinders the deep models' ability to learn more discriminative deep feature representations. Unlike existing methods that mainly utilize semantic context for regularizing or smoothing the prediction map, we design novel supervisions from semantic context for learning better deep feature representations. Two types of semantic context, scene names of images and label map statistics of image patches, are exploited to create label hierarchies between the original classes and newly created subclasses as the learning supervisions. Such subclasses show lower intra-class variation, and help CNN detect more meaningful visual patterns and learn more effective deep features. Novel training strategies and network structure that take advantages of such label hierarchies are introduced. Our proposed method is evaluated extensively on four popular datasets, Stanford Background (8 classes), SIFTFlow (33 classes), Barcelona (170 classes) and LM+Sun datasets (232 classes) with 3 different networks structures, and show state-of-the-art performance. The experiments show that our proposed method makes deep models learn more discriminative feature representations without increasing model size or complexity.

研究动机与目标

• 为解决场景标注中类内差异过大的挑战，该挑战阻碍深度模型学习判别性特征。
• 探索尚未被充分利用的语义上下文——图像场景名称和局部标签图统计量——作为改进特征学习的监督信号。
• 设计一种训练框架，利用这些语义上下文创建有意义的子类层次结构，而无需人工标注。
• 通过结构化的监督信号减少标签模糊性，改进深度特征表示学习。

提出的方法

• 该方法通过根据图像块的场景名称（例如，'城市内部'与'高楼'）对图像块进行分组，创建子类层次结构，以减少类内的外观差异。
• 进一步利用图像块的标签图统计量（例如，'路边的建筑'与'山中的建筑'）生成子类，捕捉空间语义布局。
• 引入两阶段训练策略：顺序微调和基于层次损失的微调，两者均利用子类层次结构来引导特征学习。
• 该方法使用基线模型预测未标注像素，并迭代优化子类层次结构，实现监督信号的自监督优化。
• 网络架构经过调整以处理分层监督，从而支持更深层次和更具判别性的特征学习。
• 该方法在不增加模型大小或复杂度的情况下，通过来自语义上下文的更丰富监督信号提升性能。

实验结果

研究问题

• RQ1 能否有效利用诸如场景名称和标签图统计量等语义上下文，创建更一致的子类，以减少场景标注中的类内差异？
• RQ2 将来自语义上下文的分层监督整合到卷积神经网络中，如何改善深度特征表示学习？
• RQ3 利用基线预测的自监督优化过程，能否提升子类创建质量和分割精度？
• RQ4 所提出的训练策略——顺序微调或层次微调——是否优于使用原始类别标签的标准训练？
• RQ5 通过结构化监督信号改进特征学习，在不增加模型复杂度的情况下，能在多大程度上实现最先进性能？

主要发现

• 所提方法在四个基准数据集（Stanford Background、SIFTFlow、Barcelona 和 LM+Sun）上均实现了最先进性能。
• 在 Barcelona 数据集上，该方法实现了 0.758 的像素级准确率和 0.19 的类别级准确率，优于先前方法（包括 OverFeat+H+LC）。
• 在 LM+Sun 数据集上，该方法达到了 0.701 的像素级准确率和 0.185 的类别级准确率，超越了基线模型 OverFeat 及其他最先进方法。
• 利用基线预测生成的标签图聚类，即使初始标签不完美，也实现了显著性能提升，证明了对预测误差的鲁棒性。
• 分层微调策略始终优于顺序策略，表明结构化监督能有效增强特征学习。
• 该方法在不增加模型大小或复杂度的情况下提升了分割精度，证明仅通过更丰富的监督信号即可显著提升性能。