[论文解读] Hard Pixels Mining: Learning Using Privileged Information for Semantic Segmentation.

Zhangxuan Gu, Li Niu+1 more|arXiv (Cornell University)|Jun 27, 2019

Advanced Neural Network Applications参考文献 58被引用 3

一句话总结

本文提出通过在训练过程中利用深度作为特权信息进行硬样本挖掘，以提升语义分割性能。它引入了一种损失权重模块（LWM），该模块基于深度预测误差（DPE）和深度感知分割误差（DSE）计算损失权重，聚焦于多尺度输出中的难分类像素进行训练，实现了最先进（SOTA）的性能表现，且推理阶段无需深度信息。

ABSTRACT

It has been shown that incorporating depth features into RGB features helps improve semantic segmentation. However, depth information is usually unavailable for the test images. In this paper, we leverage only the depth of training images as the privileged information to mine the hard pixels in semantic segmentation. Specifically, we propose a novel Loss Weight Module (LWM), which outputs a loss weight map by employing two depth-related measurements of hard pixels: Depth Prediction Error (DPE) and Depth-aware Segmentation Error (DSE). The loss weight map is then applied to segmentation loss, aimed at learning a more robust model by paying more attention to the hard pixels. Besides, we also explore a curriculum learning strategy based on the loss weight map. Meanwhile, to fully mine the hard pixels on different scales, we apply our loss weight module to multi-scale side outputs. Our hard pixels mining method achieves the state-of-the-art results on two benchmark datasets, and even outperforms the methods which need depth input while testing.

研究动机与目标

• 通过利用训练图像中的深度信息作为特权信息，提升语义分割性能。
• 利用与深度相关的误差度量识别并聚焦于难以分割的像素进行训练。
• 开发一种方法，在推理阶段无需深度信息的情况下增强模型鲁棒性。
• 在多尺度网络输出中应用损失加权策略，以实现更优的特征级难样本挖掘。

提出的方法

• 损失权重模块（LWM）利用两种与深度相关的度量——深度预测误差（DPE）和深度感知分割误差（DSE）——计算损失权重图。
• DPE 衡量预测深度与真实深度之间的差异，识别出深度监督不可靠的像素。
• DSE 衡量在深度不确定性较高的区域中的分割误差，突出显示那些在深度上既难以预测又模糊的像素。
• LWM 将 DPE 和 DSE 结合，生成一种空间自适应的损失权重图，从而在训练过程中加强对难分类像素的关注。
• 该方法将 LWM 集成到分割网络的多尺度辅助输出中，以实现对尺度敏感的难样本挖掘。
• 基于损失权重图应用课程学习策略，逐步训练模型处理越来越困难的样本。

实验结果

研究问题

• RQ1 能否有效利用训练图像中的深度信息作为特权信息，在测试阶段无需深度输入的情况下提升语义分割性能？
• RQ2 如何结合与深度相关的误差度量（DPE 和 DSE）以识别难分类像素，从而提升训练效果？
• RQ3 在多尺度上应用损失权重模块是否能带来更好的分割性能？
• RQ4 基于损失权重图的课程学习策略是否能进一步提升模型泛化能力？
• RQ5 与需要在推理阶段使用深度信息的最先进方法相比，所提方法表现如何？

主要发现

• 所提方法在两个语义分割基准数据集上实现了最先进（SOTA）的性能表现。
• 其性能优于需要在推理阶段输入深度信息的方法，证明了仅在训练阶段使用深度信息的有效性。
• 在多尺度输出中集成损失权重模块，显著提升了特征学习能力与模型鲁棒性。
• 基于损失权重图的课程学习策略有助于实现更稳定且高效的训练过程。
• 将 DPE 和 DSE 作为难样本指示器，显著提升了模型在挑战性像素上的准确率。