[论文解读] Rank-consistent Ordinal Regression for Neural Networks

Wenzhi Cao, Vahid Mirjalili+1 more|arXiv (Cornell University)|Jan 20, 2019

Face recognition and analysis参考文献 38被引用 29

一句话总结

本文提出 CORAL，一种新颖的、秩一致的序数回归框架，用于神经网络，通过在有序类别间强制预测 logits 和置信度分数的单调性，解决了二元子任务中的不一致性问题。CORAL 在具有显著误差降低的面部图像数据集上，提升了年龄预测性能，优于基线序数神经网络。

ABSTRACT

In many real-world predictions tasks, class labels include information about the relative ordering between labels, which is not captured by commonly-used loss functions such as multi-category cross-entropy. Recently, ordinal regression frameworks have been adopted by the deep learning community to take such ordering information into account. Using a framework that transforms ordinal targets into binary classification subtasks, neural networks were equipped with ordinal regression capabilities. However, this method suffers from inconsistencies among the different binary classifiers. We hypothesize that addressing the inconsistency issue in these binary classification task-based neural networks improves predictive performance. To test this hypothesis, we propose the COnsistent RAnk Logits (CORAL) framework with strong theoretical guarantees for rank-monotonicity and consistent confidence scores. Moreover, the proposed method is architecture-agnostic and can extend arbitrary state-of-the-art deep neural network classifiers for ordinal regression tasks. The empirical evaluation of the proposed rank-consistent method on a range of face-image datasets for age prediction shows a substantial reduction of the prediction error compared to the reference ordinal regression network.

研究动机与目标

• 解决基于神经网络的序数回归框架中二元分类器之间的不一致性问题。
• 开发一种方法，确保在有序类别标签上预测 logits 和置信度分数的秩单调性。
• 创建一种与架构无关的解决方案，以提升序数回归任务的最先进分类器性能。
• 在真实世界的人脸图像数据集上，通过实证验证该方法在年龄预测任务中的有效性。

提出的方法

• CORAL 框架引入了一种新颖的损失函数，强制在有序类别间实现 logits 的秩单调性。
• 通过约束模型对更高排名类别预测更高置信度，确保置信度分数的一致性。
• 该方法将序数回归转化为一组二元子任务，同时通过结构化正则化机制保持一致性。
• 该方法设计为与任何深度神经网络架构兼容，支持即插即用的集成。
• 利用理论保证，确保预测结果随类别顺序单调递增。
• 该框架通过施加全局一致性约束，避免了标准二元分解中常见的不一致性问题。

实验结果

研究问题

• RQ1 在预测 logits 中强制实施秩单调性是否能提升序数回归任务的性能？
• RQ2 置信度分数的一致性在序数分类中的预测准确性方面有何影响？
• RQ3 一种通用的、与架构无关的方法是否能在年龄预测中超越现有的序数回归神经网络？
• RQ4 与基线序数神经网络相比，该方法在多大程度上减少了预测误差？

主要发现

• CORAL 框架在多个面部图像数据集上实现了年龄预测中预测误差的显著降低。
• 该方法成功在所有序数类别上强制实现了 logits 的秩单调性及一致的置信度分数。
• 实证结果表明，所提出的方法在预测准确性方面优于参考的序数回归神经网络。
• 该改进在不同深度学习架构上均保持一致，证实了方法的泛化能力。
• 理论保证的单调性在实践中得以保持，验证了框架设计的有效性。
• CORAL 的与架构无关特性使其能够无缝集成到最先进分类器中，而无需修改网络结构。