[论文解读] Deep Ordinal Regression using Optimal Transport Loss and Unimodal Output Probabilities

Uri Shaham, Igal Zaidman+1 more|arXiv (Cornell University)|Nov 15, 2020

Machine Learning and Data Classification被引用 6

一句话总结

本文提出了一种深度序数回归框架，通过新颖的网络结构设计强制输出概率呈单峰分布，并采用最优传输损失进行训练，而非最大似然估计。该方法在八个真实世界数据集上均取得了最先进性能，同时保证了单峰预测结果，并相比现有方法降低了模型的过度自信程度。

ABSTRACT

It is often desired that ordinal regression models yield unimodal predictions. However, in many recent works this characteristic is either absent, or implemented using soft targets, which do not guarantee unimodal outputs at inference. In addition, we argue that the standard maximum likelihood objective is not suitable for ordinal regression problems, and that optimal transport is better suited for this task, as it naturally captures the order of the classes. In this work, we propose a framework for deep ordinal regression, based on unimodal output distribution and optimal transport loss. Inspired by the well-known Proportional Odds model, we propose to modify its design by using an architectural mechanism which guarantees that the model output distribution will be unimodal. We empirically analyze the different components of our proposed approach and demonstrate their contribution to the performance of the model. Experimental results on eight real-world datasets demonstrate that our proposed approach consistently performs on par with and often better than several recently proposed deep learning approaches for deep ordinal regression with unimodal output probabilities, while having guarantee on the output unimodality. In addition, we demonstrate that proposed approach is less overconfident than current baselines.

研究动机与目标

• 为解决深度序数回归模型中缺乏保证单峰输出概率的问题，此类需求在现实世界应用中常与可解释性相关。
• 用最优传输损失替代最大似然训练，通过基于类别顺序的惩罚机制更好地捕捉序数类别关系。
• 设计一种神经网络架构，通过内在机制生成单峰概率分布，无需依赖软标签或后处理。
• 通过实证验证，单峰输出与最优传输损失的结合可提升模型性能并降低过度自信程度。
• 在多样化的基准数据集上，持续优于近期的深度序数回归方法。

提出的方法

• 模型采用改进的成比例优势模型架构，其中logits通过学习到的位置参数和单调衰减机制进行参数化，以强制实现单峰输出分布。
• 输出层生成的序数类别概率分布在构造上保证为单峰分布，确保概率在单一类别处达到峰值，并在两个方向上单调递减。
• 采用最优传输损失作为训练目标，该损失衡量从预测分布到真实标签（狄拉克δ分布）的质量移动成本，且具有可微性并能敏感反映类别顺序。
• 当真实标签为狄拉克δ分布时，最优传输损失可闭式计算，从而实现高效的反向传播与端到端训练。
• 该方法完全避免使用软标签；单峰性通过网络结构实现，而非正则化或标签平滑。
• 所有模型均采用相同的图像增强策略、骨干卷积神经网络和训练协议，以确保方法间公平比较。

实验结果

研究问题

• RQ1 通过网络结构设计强制实现单峰输出概率，是否相比基于软标签的方法在深度序数回归中带来更好的泛化性能？
• RQ2 相比最大似然方法，最优传输损失是否能通过更好地捕捉标签的序数特性来提升序数回归性能？
• RQ3 与现有深度序数回归模型相比，所提方法是否能降低模型的过度自信程度，尤其是在错误预测上？
• RQ4 单峰结构与最优传输损失的结合在多样化的现实世界序数回归基准数据集上的表现如何？
• RQ5 在MAE、准确率和相关性指标上，所提方法是否始终优于或至少与最先进方法持平？

主要发现

• 所提方法在全部八个基准数据集上均达到最先进或具有竞争力的性能，平均Spearman等级相关系数为0.95，QWK为1.01。
• 在八个数据集中的六个上，所提方法的过度自信程度低于所有基线方法，表现为错误预测的熵相对于正确预测的比值更高。
• 仅所提方法与[1]能保证输出为单峰分布；其余使用软标签的基线方法在显著比例的预测中未能维持单峰性。
• 在除一个数据集外的所有数据集上，所提方法在MAE和OOA指标上均优于DLDL、SORD、[18]和[13]，且在多个数据集上具有统计显著性提升。
• 消融研究证实，单峰结构与最优传输损失均对性能有显著贡献，且各自独立提升模型表现。
• 在WIKI数据集上，模型测试准确率为0.69 ± 0.01；在Retina-MNIST数据集上为0.95 ± 0.01，两项指标均优于所有基线方法。