[论文解读] Auto Seg-Loss: Searching Metric Surrogates for Semantic Segmentation

Hao Li, Chenxin Tao+4 more|arXiv (Cornell University)|Oct 15, 2020

Advanced Neural Network Applications参考文献 31被引用 8

一句话总结

本文提出 Auto Seg-Loss，一种受神经架构搜索启发的方法，可自动发现针对语义分割中特定评估指标的可微分代理损失函数。通过用可学习的参数化函数替换评估指标中不可微的组件，并利用约束搜索优化其形状，该方法在 PASCAL VOC 和 Cityscapes 上的性能优于手工设计的损失函数，且在不同数据集和网络架构间具有良好的泛化能力。

ABSTRACT

Designing proper loss functions is essential in training deep networks. Especially in the field of semantic segmentation, various evaluation metrics have been proposed for diverse scenarios. Despite the success of the widely adopted cross-entropy loss and its variants, the mis-alignment between the loss functions and evaluation metrics degrades the network performance. Meanwhile, manually designing loss functions for each specific metric requires expertise and significant manpower. In this paper, we propose to automate the design of metric-specific loss functions by searching differentiable surrogate losses for each metric. We substitute the non-differentiable operations in the metrics with parameterized functions, and conduct parameter search to optimize the shape of loss surfaces. Two constraints are introduced to regularize the search space and make the search efficient. Extensive experiments on PASCAL VOC and Cityscapes demonstrate that the searched surrogate losses outperform the manually designed loss functions consistently. The searched losses can generalize well to other datasets and networks. Code shall be released.

研究动机与目标

• 解决语义分割中标准损失函数（如交叉熵）与评估指标之间的不匹配问题。
• 通过自动化搜索特定指标的代理损失，减少对手动设计损失函数的依赖。
• 通过更紧密地对齐训练目标与下游评估指标，提升分割模型的性能。
• 开发一种高效且可泛化的搜索框架，生成鲁棒的可微分损失代理函数。
• 实现所搜索损失函数在不同数据集和网络架构间的可迁移性。

提出的方法

• 将评估指标中不可微的组件（如 IoU、Dice）替换为可微分的、参数化的代理函数。
• 将最优代理损失形状的搜索问题建模为可微分神经架构搜索问题，针对可学习参数进行优化。
• 引入两种正则化约束以缩小搜索空间并提升优化效率。
• 使用基于梯度的搜索方法优化代理损失参数，使损失曲面与目标指标对齐。
• 使用所搜索到的代理损失训练分割网络，并在标准基准上评估性能。
• 通过在未见数据集和网络架构上测试所搜索损失，确保其泛化能力。

实验结果

研究问题

• RQ1 能否自动搜索可微分代理损失，以更好地使训练过程与语义分割中的评估指标对齐？
• RQ2 在多种指标和数据集上，自动搜索损失的性能与手工设计损失相比如何？
• RQ3 所搜索的损失函数在不同分割网络和数据集间的泛化能力有多强？
• RQ4 哪些约束能有效提升代理损失搜索的效率与稳定性？
• RQ5 所提出方法是否能在 PASCAL VOC 和 Cityscapes 等多个基准数据集上持续提升分割性能？

主要发现

• 在 PASCAL VOC 和 Cityscapes 上，所搜索的代理损失在所有评估指标上均优于标准交叉熵及其变体。
• Auto Seg-Loss 带来的性能提升在不同评估指标（包括 IoU 和 Dice）上均保持一致。
• 所搜索的损失函数在训练分布之外的其他数据集和网络架构上也表现出良好的泛化能力。
• 正则化约束的使用显著提升了搜索效率与收敛稳定性。
• 该方法在无需人工损失工程的情况下，实现了标准基准上的最先进性能。
• Auto Seg-Loss 的代码将公开发布，以支持可复现性与进一步研究。