[论文解读] Choice by Elimination via Deep Neural Networks

Truyen Tran, Dinh Phung+1 more|arXiv (Cornell University)|Feb 17, 2016

Economic and Environmental Valuation参考文献 28被引用 3

一句话总结

本文提出了神经选择消除法（Neural Choice by Elimination, NCE），一种深度学习框架，将序列排序建模为逐轮淘汰最不受欢迎项的迭代过程，利用Gompertz分布的潜在效用和高速公路网络实现可扩展、高性能的学习排序。在Yahoo!学习排序数据集上的评估表明，NCE在性能上优于Plackett-Luce和Rank SVM基线模型，并与梯度提升树方法表现相当，证明了深度神经网络在大规模排序任务中是一种可行的替代方案。

ABSTRACT

We introduce Neural Choice by Elimination, a new framework that integrates deep neural networks into probabilistic sequential choice models for learning to rank. Given a set of items to chose from, the elimination strategy starts with the whole item set and iteratively eliminates the least worthy item in the remaining subset. We prove that the choice by elimination is equivalent to marginalizing out the random Gompertz latent utilities. Coupled with the choice model is the recently introduced Neural Highway Networks for approximating arbitrarily complex rank functions. We evaluate the proposed framework on a large-scale public dataset with over 425K items, drawn from the Yahoo! learning to rank challenge. It is demonstrated that the proposed method is competitive against state-of-the-art learning to rank methods.

研究动机与目标

• 为解决现有学习排序模型中优先采用前向选择（如Plackett-Luce）的局限性，此类方法可能过度关注区分排名靠后的项目。
• 提出一种新颖的概率性序列选择模型——选择消除模型，即在每一步中移除最不值得的项目，更真实地反映竞争性或淘汰制情境下的实际决策过程。
• 证明深度神经网络，特别是高速公路网络，可作为大规模学习排序场景中有效且可扩展的排序函数近似器。
• 在大规模公开基准数据集上，将所提出的框架与最先进方法（包括梯度提升树）进行对比验证。

提出的方法

• 选择消除模型通过迭代方式从剩余项目集合中移除最不受欢迎的项目，最终的项目排名为淘汰顺序的逆序。
• 该模型在理论上基于对Gompertz分布潜在效用的边际化处理，为淘汰过程提供了概率基础。
• 采用高速公路网络作为排序函数近似器，支持深层、可训练且梯度友好的架构，具备类似残差的信息流动机制。
• 应用Dropout正则化和最大范数约束，以防止深度网络中的过拟合并稳定训练过程。
• 采用端到端的列表级排序损失进行模型训练，通过随机梯度下降和自适应学习率衰减进行优化。
• 架构在各淘汰步骤间共享参数，实现参数效率，并通过隐藏层中的类似循环结构实现序列建模。

实验结果

研究问题

• RQ1 选择消除模型是否能在学习排序任务中优于传统前向选择模型（如Plackett-Luce）？
• RQ2 聚焦于早期淘汰低质量项目的淘汰过程，是否能带来更好的排序性能，尤其是对高排名项目？
• RQ3 深度神经网络（特别是高速公路网络）是否能有效近似大规模学习排序场景中的复杂排序函数？
• RQ4 所提出的神经选择消除框架在排序性能上与最先进梯度提升树方法相比如何？

主要发现

• 在Yahoo!-large数据集上，选择消除模型的归一化折损累计增益（NDCG@5）达到0.680，优于Plackett-Luce（0.671）和Rank SVM（0.666）。
• 在Yahoo!-small数据集上，选择消除模型的期望倒数排名（ERR）达到0.503，超过Plackett-Luce（0.495）和Rank SVM（0.488）。
• 采用高速公路架构的神经网络在Yahoo!-large数据集上实现了NDCG@1为0.719和NDCG@5为0.697，优于SGTB梯度提升基线模型（0.705和0.681）。
• Yahoo! L2R挑战赛中最佳模型之间的性能差距较小（ERR差异为1.56%），但NCE模型在ERR上仍显著优于Plackett-Luce（差异1.62%），具有统计显著性。
• Dropout与最大范数正则化的结合稳定了训练过程，有效抑制了梯度突变，增强了模型鲁棒性。
• 该框架表明，深度神经网络在大规模学习排序任务中可与树集成方法相媲美，挑战了梯度提升在该领域的主导地位。