[论文解读] A Simple Probabilistic Method for Deep Classification under Input-Dependent Label Noise

Mark Collier, Basil Mustafa+3 more|arXiv (Cornell University)|Mar 15, 2020

Machine Learning and Data Classification参考文献 46被引用 12

一句话总结

本文提出一种概率深度学习方法，通过引入温度参数化的softmax作为潜在变量生成模型的平滑近似，以处理分类任务中的输入相关（异方差）标签噪声。通过调节温度参数，该方法在梯度估计中平衡偏差与方差，从而在ImageNet-21k和PASCAL VOC/Cityscapes数据集上，显著提升准确率、对数似然、校准性能以及分割mIoU，优于当前最先进基线方法。

ABSTRACT

Datasets with noisy labels are a common occurrence in practical applications of classification methods. We propose a simple probabilistic method for training deep classifiers under input-dependent (heteroscedastic) label noise. We assume an underlying heteroscedastic generative process for noisy labels. To make gradient based training feasible we use a temperature parameterized softmax as a smooth approximation to the assumed generative process. We illustrate that the softmax temperature controls a bias-variance trade-off for the approximation. By tuning the softmax temperature, we improve accuracy, log-likelihood and calibration on both image classification benchmarks with controlled label noise as well as Imagenet-21k which has naturally occurring label noise. For image segmentation, our method increases the mean IoU on the PASCAL VOC and Cityscapes datasets by more than 1% over the state-of-the-art model.

研究动机与目标

• 解决在真实世界数据集中常见的输入相关（异方差）标签噪声下训练深度分类器的挑战。
• 通过显式建模噪声标签中的认知不确定性，提升模型校准性与预测性能。
• 提供一个超越同方差假设的合理概率框架，实现更优的不确定性量化。
• 证明softmax温度作为偏差-方差权衡调节器的作用，提升训练稳定性和性能。
• 在受控和自然标签噪声设置下，实现在图像分类与分割任务上的最先进性能。

提出的方法

• 假设一个潜在变量生成过程，其中类别效用被建模为具有输入相关方差的随机变量，以反映异方差标签噪声。
• 使用温度参数化的softmax作为生成过程中离散argmax操作的平滑近似，实现可微训练。
• 温度参数控制近似偏差（低温）与梯度方差（高温）之间的权衡。
• 通过蒙特卡洛采样估计在假设生成过程下的概率分类模型对数似然。
• 使用深度神经网络参数化潜在logits的均值与方差，实现输入相关的不确定性建模。
• 通过反向传播优化模型，梯度通过温度正则化的softmax传播，温度参数经调优以实现最优性能。

实验结果

研究问题

• RQ1 如何在输入相关（异方差）标签噪声下有效训练深度分类器？
• RQ2 在概率生成模型下，softmax温度在训练过程中平衡偏差与方差的作用是什么？
• RQ3 一个具有可调温度的简单概率方法是否能在受控和真实世界噪声标签设置下，超越现有最先进方法？
• RQ4 建模异方差不确定性是否能提升在ImageNet-21k等大规模基准上的模型校准性与预测性能？
• RQ5 所提方法能否提供有意义的不确定性估计（如像素级方差），并与人类标注的不确定性一致，特别是在分割任务中？

主要发现

• 最优的softmax温度τ*并非1.0，调节该参数可显著提升在受控标签噪声图像分类基准上的准确率、对数似然与校准性能。
• 在包含自然标签噪声的ImageNet-21k数据集中，该方法实现了最先进性能，证明了对真实世界数据缺陷的鲁棒性。
• 在图像分割任务中，经调优温度的异方差模型在PASCAL VOC与Cityscapes上相比最先进模型，mIoU提升超过1%。
• 在τ*下，异方差模型在验证集与测试集上的mIoU均显著优于同方差模型与τ=1.0的变体（p < 0.001）。
• 模型生成的不确定性热图在物体边界区域表现出更高的空间精度，与预期的高认知不确定性区域一致。
• 与基线方法相比，该方法在定性上提供了更优的分割结果与不确定性估计，在最优温度下实现了更精细的不确定性定位。