[论文解读] Locally Adaptive Learning Loss for Semantic Image Segmentation

Jinjiang Guo, Pengyuan Ren+3 more|arXiv (Cornell University)|Feb 23, 2018

Domain Adaptation and Few-Shot Learning参考文献 28被引用 5

一句话总结

本文提出了一种用于语义图像分割的局部自适应学习损失，通过在计算损失前自适应地聚合同一类别邻近预测结果，增强了类内与类间判别能力。通过关注类别感知的局部聚合带来的区域一致性，该方法在Pascal VOC 2012上相比标准交叉熵损失实现了1.5%的mIoU提升，优于中心损失和焦点损失。

ABSTRACT

We propose a novel locally adaptive learning estimator for enhancing the inter- and intra- discriminative capabilities of Deep Neural Networks, which can be used as improved loss layer for semantic image segmentation tasks. Most loss layers compute pixel-wise cost between feature maps and ground truths, ignoring spatial layouts and interactions between neighboring pixels with same object category, and thus networks cannot be effectively sensitive to intra-class connections. Stride by stride, our method firstly conducts adaptive pooling filter operating over predicted feature maps, aiming to merge predicted distributions over a small group of neighboring pixels with same category, and then it computes cost between the merged distribution vector and their category label. Such design can make groups of neighboring predictions from same category involved into estimations on predicting correctness with respect to their category, and hence train networks to be more sensitive to regional connections between adjacent pixels based on their categories. In the experiments on Pascal VOC 2012 segmentation datasets, the consistently improved results show that our proposed approach achieves better segmentation masks against previous counterparts.

研究动机与目标

• 解决标准像素级交叉熵损失在捕捉同类别邻近像素之间空间关系方面的局限性。
• 提升深度神经网络对语义分割中区域连接关系与类内差异的敏感性。
• 通过引入类别感知的局部损失机制，缓解长尾数据集中类别不平衡问题。
• 证明局部自适应预测聚合可提升模型判别能力，且不增加计算复杂度。

提出的方法

• 一个选择性自适应池化滤波器并行滑过预测特征图与真实标签，将与中心像素类别相同的邻近像素分组。
• 在每次步长移动时，该方法基于中心像素的类别，将局部邻域内的预测类别分布聚合为单一合并向量。
• 损失在合并向量与中心像素的真实标签之间计算，强调区域一致性而非单个像素的准确性。
• 滤波器使用可变感受野大小（如3×3、5×5、7×7），并保持固定的接受域深度21，实现局部化、类别特定的监督。
• 该损失作为可微层集成到网络中，训练时的时间复杂度与标准交叉熵保持一致。
• 该方法与现有网络架构兼容，可与焦点损失或中心损失等其他损失结合，进一步提升性能。

实验结果

研究问题

• RQ1 与标准像素级交叉熵相比，一种对同类别邻居预测结果进行局部自适应聚合的损失是否能提升分割性能？
• RQ2 所提出的损失在语义分割的深层特征中，对类内紧凑性与类间可分性有何影响？
• RQ3 该方法在多大程度上能缓解长尾分割数据集中对多数类的偏差？
• RQ4 该局部自适应损失是否在提升掩码精度与鲁棒性的同时，保持计算效率？

主要发现

• 所提出的局部自适应损失在Pascal VOC 2012上使用5×5×21核时达到76.1%的mIoU，相比标准Softmax交叉熵（74.6%）提升了1.5个百分点。
• 使用5×5×21核的模型达到最高性能，而更大的核（7×7×21）导致精度略有下降，表明存在最优的感受野大小。
• 中心损失与标准交叉熵结果几乎相同（74.5%），表明在此场景下收益有限。
• 焦点损失导致性能显著下降（70.4%），表明在超参数未精细调整时，其在分割任务中泛化能力较差。
• 可视化对比显示，使用该损失训练的模型生成了更准确、更鲁棒的分割掩码，且边界对齐效果更优。
• 该方法有效提升了模型对区域连接关系的敏感性，并减少了对孤立、误分类像素的过拟合。