[论文解读] Deep Architectures for Learning Context-dependent Ranking Functions

Karlson Pfannschmidt, Pritha Gupta+1 more|arXiv (Cornell University)|Mar 15, 2018

Data Management and Algorithms参考文献 38被引用 5

一句话总结

本文提出 FETA-Net 和 FATE-Net 两种深度神经网络架构，用于在对象排序中学习上下文相关排序函数，其中项目的效用取决于可用替代项的集合。通过先评估项目再聚合（FETA）或先聚合上下文再评估（FATE）的方式建模上下文，这些模型在合成数据集上表现优于传统上下文无关方法，实现了超过 90% 的 0/1 排序准确率，而线性模型和基于效用的模型则失败。

ABSTRACT

Object ranking is an important problem in the realm of preference learning. On the basis of training data in the form of a set of rankings of objects, which are typically represented as feature vectors, the goal is to learn a ranking function that predicts a linear order of any new set of objects. Current approaches commonly focus on ranking by scoring, i.e., on learning an underlying latent utility function that seeks to capture the inherent utility of each object. These approaches, however, are not able to take possible effects of context-dependence into account, where context-dependence means that the utility or usefulness of an object may also depend on what other objects are available as alternatives. In this paper, we formalize the problem of context-dependent ranking and present two general approaches based on two natural representations of context-dependent ranking functions. Both approaches are instantiated by means of appropriate neural network architectures, which are evaluated on suitable benchmark task.

研究动机与目标

• 将上下文相关排序形式化为一项学习问题，其中项目效用取决于可用的替代项集合。
• 开发两种通用神经网络架构——FETA-Net 和 FATE-Net——以建模排序函数中的上下文效应。
• 通过可微分排序损失实现这些模型的端到端训练。
• 通过实证验证，上下文感知模型在非线性排序任务中优于上下文无关基线模型。

提出的方法

• FETA-Net 采用先评估后聚合的方法，通过可微分排序层对项目之间的成对比较进行计算并聚合。
• FATE-Net 采用先聚合后评估的策略，将对象嵌入平均以形成上下文向量，然后用该向量对每个项目进行评分。
• 两种架构均使用可微分排序损失（如斯皮尔曼等级相关系数和归一化折损累计增益（nDCG））进行端到端训练。
• 通过使用前馈网络和残差网络组件，实例化模型以捕捉数据中复杂的非线性交互。
• 理论上证明，FETA 方法在极限情况下，通过 (N-1) 阶近似，足以建模任意排序函数。
• FATE 方法通过从查询中项目集合计算全局上下文嵌入，利用上下文感知表示。

实验结果

研究问题

• RQ1 深度神经网络能否有效建模项目效用依赖于可用替代项集合的上下文相关偏好？
• RQ2 在建模上下文效应方面，先评估后聚合（FETA）与先聚合后评估（FATE）架构有何差异？
• RQ3 FETA-Net 和 FATE-Net 在非线性排序任务中相较于传统上下文无关排序模型的性能提升程度如何？
• RQ4 FETA 和 FATE 表示在捕捉排序上下文中项目之间高阶交互方面的表达能力如何？
• RQ5 这些架构能否泛化到不同规模的排序任务和真实世界的排序问题？

主要发现

• 在 Medoid 和 Hypervolume 合成数据集上，FATE-Net 达到了 92.0% ± 0.3% 的 0/1 排序准确率，显著优于 RankNet 和 ListNet（仅达到 68.3% ± 0.1%）。
• ERR 和 RankSVM 在这些数据集上完全失败，由于其在线性建模假设下处理高度非线性问题，导致斯皮尔曼等级相关系数为零。
• 在相对深度估计数据集上，FATE-Net 达到了 81.4% 的 0/1 排序准确率，略高于 RankBoost（80.6%）和其他基线模型。
• FETA-Net 在相对深度数据集上实现了 0.729 的斯皮尔曼等级相关系数和 81.3% 的 0/1 排序准确率，表明其在真实世界数据上表现强劲。
• 结果表明，FATE-Net 的上下文感知聚合机制比 FETA-Net 的成对分解更能捕捉高阶交互。
• 本研究证明，上下文感知深度学习模型能够有效建模非线性、上下文相关的偏好，而传统基于效用的模型则无法实现。