[论文解读] Deconvolutional Feature Stacking for Weakly-Supervised Semantic Segmentation

Hyoeun Kim, Sangheum Hwang|arXiv (Cornell University)|Feb 16, 2016

Advanced Chemical Sensor Technologies参考文献 34被引用 14

一句话总结

该论文提出了一种弱监督语义分割框架，通过使用权重共享的反卷积网络进行反卷积特征堆叠，以在图像级监督下提升定位精度。通过利用无池化（unpooling）和权重共享的反卷积从高层激活中重建判别性特征，该方法减少了误报，并在医学影像（胸部X光片）和自然图像（PASCAL VOC 2012）数据集上均实现了最先进性能。

ABSTRACT

A weakly-supervised semantic segmentation framework with a tied deconvolutional neural network is presented. Each deconvolution layer in the framework consists of unpooling and deconvolution operations. 'Unpooling' upsamples the input feature map based on unpooling switches defined by corresponding convolution layer's pooling operation. 'Deconvolution' convolves the input unpooled features by using convolutional weights tied with the corresponding convolution layer's convolution operation. The unpooling-deconvolution combination helps to eliminate less discriminative features in a feature extraction stage, since output features of the deconvolution layer are reconstructed from the most discriminative unpooled features instead of the raw one. This results in reduction of false positives in a pixel-level inference stage. All the feature maps restored from the entire deconvolution layers can constitute a rich discriminative feature set according to different abstraction levels. Those features are stacked to be selectively used for generating class-specific activation maps. Under the weak supervision (image-level labels), the proposed framework shows promising results on lesion segmentation in medical images (chest X-rays) and achieves state-of-the-art performance on the PASCAL VOC segmentation dataset in the same experimental condition.

研究动机与目标

• 为解决仅有图像级标签可用的弱监督语义分割挑战，使细粒度像素级定位变得困难。
• 通过在特征恢复过程中仅选择性地重建最具判别性的特征，减少激活图中的误报。
• 通过堆叠的反卷积层在不同抽象层级上构建丰富、多层次的特征表示。
• 通过权重共享实现编码器与解码器路径之间的紧密约束，支持端到端训练，从而在弱监督下提升定位性能。
• 在医学影像中展示其适用性，其中像素级标注成本高昂且需要领域专业知识。

提出的方法

• 该框架基于预训练的CNN构建权重共享的反卷积网络，每个反卷积层由无池化和反卷积操作组成。
• 无池化利用对应卷积层的池化掩码对特征图进行上采样，仅保留最具判别性的激活。
• 反卷积通过与对应编码器卷积层权重共享的转置卷积实现，强制实现编码器-解码器之间的紧密连接。
• 从所有反卷积层及最终卷积层恢复的特征在通道维度上进行上采样和拼接，形成丰富、多尺度的特征集合。
• 最终的卷积层处理堆叠后的特征，生成类别特定的激活图，并在通道维度上进行Softmax操作，实现像素级分类。
• 模型仅使用图像级标签进行端到端训练，最终损失函数将预测的类别概率与真实图像级标签进行比较。

实验结果

研究问题

• RQ1 使用权重共享的反卷积特征堆叠是否能提升弱监督语义分割中的定位精度？
• RQ2 与标准反卷积或全局池化方法相比，基于无池化的特征重建是否能更有效地减少误报？
• RQ3 在相同的弱监督设置下，该方法是否能在医学影像和自然图像数据集上均实现最先进性能？
• RQ4 堆叠的多层次特征表示在捕捉粗粒度与细粒度目标细节方面是否有效？
• RQ5 该方法是否能在像素级标注成本高昂的医学影像应用中实现良好泛化？

主要发现

• 在PASCAL VOC 2012验证集上，该方法在弱监督设置下实现了33.6%的平均IoU，优于FC-MIL和GP-LSE，达到最先进水平。
• 在PASCAL VOC 2012数据集上，该方法在第三阶段达到33.4%的mIoU，超过基线（27.3%）和C-CNN（33.3%），在相似训练条件下表现更优。
• 在胸部X光片上，该方法成功减少了误报，并在不同病变尺度下恢复了病灶边界，如定性示例所示。
• 该框架在反卷积的所有阶段均表现出一致改进，激活图逐步优化，误报减少。
• 权重共享与无池化的结合实现了更优的特征重建与定位，即使在无额外监督或后处理的情况下亦然。
• 该方法在医学影像中表现有效，为CADe/CADx系统提供了一种实用解决方案，尤其适用于专家标注的像素级数据稀缺的场景。