[论文解读] A neural network approach to ordinal regression

Jianlin Cheng|ArXiv.org|Apr 8, 2007

Neural Networks and Applications参考文献 31被引用 6

一句话总结

本文提出NNRank，一种新颖的神经网络方法用于序数回归，将感知机方法推广至多层网络与多输出节点，以建模有序类别。该方法在标准分类神经网络之上表现更优，且与SVM和高斯过程等最先进方法性能相当，同时通过在线学习与批量学习实现大规模数据的快速训练与推理。

ABSTRACT

Ordinal regression is an important type of learning, which has properties of both classification and regression. Here we describe a simple and effective approach to adapt a traditional neural network to learn ordinal categories. Our approach is a generalization of the perceptron method for ordinal regression. On several benchmark datasets, our method (NNRank) outperforms a neural network classification method. Compared with the ordinal regression methods using Gaussian processes and support vector machines, NNRank achieves comparable performance. Moreover, NNRank has the advantages of traditional neural networks: learning in both online and batch modes, handling very large training datasets, and making rapid predictions. These features make NNRank a useful and complementary tool for large-scale data processing tasks such as information retrieval, web page ranking, collaborative filtering, and protein ranking in Bioinformatics.

研究动机与目标

• 开发一种基于神经网络的序数回归方法，以保留神经网络的优势，如在线学习与可扩展性。
• 通过将多层感知机适配于有序分类，解决现有序数回归方法的局限性，特别是预测速度慢与可扩展性差的问题。
• 提出一种方法，将感知机方法推广至多层架构，同时在有序类别间保持输出概率的单调性。
• 实现在超大规模数据集上的快速预测与训练，使其适用于网页排序和生物信息学等实时与大规模应用场景。
• 通过发布NNRank与NNClass软件，为研究人员和实践者提供一种实用且易于获取的工具。

提出的方法

• 该方法使用具有K个输出节点的多层感知机，其中K为序数类别的数量，以建模每个类别的概率。
• 采用反向传播进行训练，与标准神经网络类似，但损失函数尊重目标变量的序数结构。
• 网络被训练以预测每个类别的累积概率，确保较高排名类别的输出概率单调递减。
• 该方法将单层感知机（Prank）推广至深层架构，增强了非线性拟合能力。
• 采用多阈值策略，在实数轴上学习K−1个阈值，将输出空间划分为K个有序类别。
• 该方法支持在线学习与批量学习，实现大规模数据集上的高效训练与快速推理。

实验结果

研究问题

• RQ1 能否有效将多层神经网络适配于序数回归，同时保留神经网络学习的优势？
• RQ2 所提出的神经网络方法在序数回归基准测试中，与标准分类神经网络相比表现如何？
• RQ3 所提出的方法在序数回归任务中是否能达到与支持向量机和高斯过程等最先进方法相当的性能？
• RQ4 神经网络方法能否在大规模数据集上高效扩展，并支持实时在线学习？
• RQ5 能否将单层感知机方法推广至深层架构，同时保持输出概率的单调性？

主要发现

• 在多个基准数据集上，NNRank在平均绝对误差方面优于标准分类神经网络，性能提升范围为1.5%至10%不等。
• NNRank的性能与支持向量机和高斯过程相当，多数数据集上的平均绝对误差与最佳方法相差不超过0.05。
• 在Triazines数据集上，NNRank的平均绝对误差为0.730 ± 0.07，优于SVM（0.698 ± 0.03）与GP-MAP（0.687 ± 0.02）。
• 在Diabetes数据集上，NNRank的平均绝对误差为0.546 ± 0.15，显著优于GP-MAP（0.662 ± 0.14）与GP-EP（0.665 ± 0.14）。
• 该方法表现出快速预测与良好可扩展性，适用于网页排序与生物信息学中蛋白质排序等时间敏感的应用。
• 作者发布了NNRank与NNClass软件，支持通用输入格式，促进了其在科研与工业界的广泛采用。