[论文解读] Deep Neural Networks for Rank-Consistent Ordinal Regression Based On Conditional Probabilities

Xintong Shi, Wenzhi Cao+1 more|arXiv (Cornell University)|Nov 17, 2021

Machine Learning and Data Classification参考文献 20被引用 6

一句话总结

本文提出 CORN（条件序数回归神经网络），一种新颖的、保持排序一致性的序数回归框架，通过链式法则利用条件概率分布来强制实现序数顺序，且无需权重共享约束。与先前方法（如 CORAL）相比，CORN 在图像和表格数据集上均表现出更优性能，通过实现完整网络表达能力并保持排序一致性，在 MORPH-2 和 AFAD 数据集上达到最先进结果，并在 Fireman 数据集上表现具有竞争力。

ABSTRACT

In recent times, deep neural networks achieved outstanding predictive performance on various classification and pattern recognition tasks. However, many real-world prediction problems have ordinal response variables, and this ordering information is ignored by conventional classification losses such as the multi-category cross-entropy. Ordinal regression methods for deep neural networks address this. One such method is the CORAL method, which is based on an earlier binary label extension framework and achieves rank consistency among its output layer tasks by imposing a weight-sharing constraint. However, while earlier experiments showed that CORAL's rank consistency is beneficial for performance, it is limited by a weight-sharing constraint in a neural network's fully connected output layer, which may restrict the expressiveness and capacity of a network trained using CORAL. We propose a new method for rank-consistent ordinal regression without this limitation. Our rank-consistent ordinal regression framework (CORN) achieves rank consistency by a novel training scheme. This training scheme uses conditional training sets to obtain the unconditional rank probabilities through applying the chain rule for conditional probability distributions. Experiments on various datasets demonstrate the efficacy of the proposed method to utilize the ordinal target information, and the absence of the weight-sharing restriction improves the performance substantially compared to the CORAL reference approach. Additionally, the suggested CORN method is not tied to any specific architecture and can be utilized with any deep neural network classifier to train it for ordinal regression tasks.

研究动机与目标

• 为解决深度神经网络序数回归中排序不一致的局限性，特别是忽略序数标签顺序的方法。
• 消除现有排序一致性方法（如 CORAL）中的权重共享约束，该约束限制了模型的表达能力和容量。
• 开发一种训练框架，保证排序一致性的同时保持低计算复杂度，并兼容任意深度神经网络架构。
• 通过实证验证，移除权重共享约束可提升在多样化序数回归任务上的预测性能。

提出的方法

• CORN 采用基于条件概率分布的新型训练方案，利用链式法则从条件概率计算无条件排序概率。
• 该方法为每个二分类任务构建条件训练子集，确保概率估计具有理论基础并保持排序一致性。
• 对于每个序数类别 k，模型使用 y > r_k 的训练数据子集预测 P(y > r_k | x)，从而在输出单元间实现一致的排序。
• 最终预测的排序由累积概率得分推导得出，确保仅在较低排序被充分预测时才分配较高排序。
• 该框架与网络架构无关，可应用于任意深度神经网络分类器，包括卷积神经网络（CNNs）和前馈网络。
• 该方法避免了输出层的权重共享，使最终全连接层具备完整的表达能力。

实验结果

研究问题

• RQ1 能否在不强制深度神经网络输出层权重共享约束的前提下，实现序数回归中的排序一致性？
• RQ2 在真实世界数据集中，移除排序一致性序数回归中的权重共享约束是否能提升预测性能？
• RQ3 基于条件概率的训练方案能否在保持理论排序一致性的同时提升模型准确率？
• RQ4 CORN 在多样化图像和表格数据集上与 OR-NN、CORAL 和标准交叉熵基线相比，性能如何？

主要发现

• CORN 在 MORPH-2 和 AFAD 图像数据集上达到最先进性能，测试平均绝对误差（MAE）分别为 2.98 ± 0.02 和 2.81 ± 0.02，优于 OR-NN 和 CORAL。
• 在 Fireman 表格数据集上，CORN 与 OR-NN 表现相当（MAE: 0.76 ± 0.01），并优于 CE-NN 和 CORAL，展现出强大的泛化能力。
• 消融实验确认训练子集至关重要：移除后所有数据集性能均下降，AFAD 上 MAE 升至 3.06 ± 0.02，AES 上升至 0.68 ± 0.01。
• CORN 移除权重共享约束后，在 MORPH-2 和 AFAD 上性能提升，而 CORAL 因表达能力受限，表现不如 OR-NN。
• 该方法在不增加训练复杂度的前提下保持排序一致性，且兼容任意深度神经网络架构。
• 结果在五个随机种子下均保持稳定，证实性能提升并非由随机初始化或数据打乱导致。