[论文解读] Label Ranking with Abstention: Predicting Partial Orders by Thresholding Probability Distributions (Extended Abstract)

Weiwei Cheng, Eyke Hüllermeier|arXiv (Cornell University)|Dec 2, 2011

Bayesian Modeling and Causal Inference参考文献 5被引用 4

一句话总结

本文提出了一种新颖的带拒绝的标签排序方法，通过阈值化从概率模型（Mallows 和 Plackett-Luce）推导出的成对偏好概率来预测部分序。与以往需要事后修复以保证传递性和无环性的方法不同，该方法通过基于模型的概率分布，天然保证了部分序的一致性，在实验中实现了更高的正确性与完整性的平衡。

ABSTRACT

We consider an extension of the setting of label ranking, in which the learner is allowed to make predictions in the form of partial instead of total orders. Predictions of that kind are interpreted as a partial abstention: If the learner is not sufficiently certain regarding the relative order of two alternatives, it may abstain from this decision and instead declare these alternatives as being incomparable. We propose a new method for learning to predict partial orders that improves on an existing approach, both theoretically and empirically. Our method is based on the idea of thresholding the probabilities of pairwise preferences between labels as induced by a predicted (parameterized) probability distribution on the set of all rankings.

研究动机与目标

• 解决先前带拒绝的标签排序方法中可能出现的非传递性或循环性部分序不一致问题。
• 开发一种无需事后修复即可保证有效部分序的方法。
• 改善部分序预测中正确性与完整性的权衡。
• 为现有成对阈值化方法提供一种理论坚实且实证有效的替代方案。

提出的方法

• 该方法使用 Plackett-Luce (PL) 或 Mallows 分布对成对偏好概率进行建模。
• 通过在所有满足 $ y_i $ 位于 $ y_j $ 之前的排名上进行边缘化，计算每个成对偏好 $ P(y_i \succ y_j) $ 的概率。
• 通过阈值化生成部分序 $ Q $：若 $ P(y_i \succ y_j) > q $，则 $ Q(y_i, y_j) = 1 $，否则为 0。
• 阈值 $ q \in [0.5, 1) $ 控制完整性和正确性之间的权衡。
• 理论分析证明，在使用具有对换不变距离的 PL 或 Mallows 模型时，阈值化总能产生有效部分序。
• 该方法通过构造避免了循环和传递性修复，与先前方法不同。

实验结果

研究问题

• RQ1 通过阈值化，基于排名的概率模型能否在无需事后修复的情况下确保一致的部分序预测？
• RQ2 对 PL 或 Mallows 模型的成对概率进行阈值化，是否对所有 $ q \in [0.5, 1) $ 都能产生有效部分序？
• RQ3 与现有成对阈值化方法相比，该方法在正确性与完整性的权衡方面表现如何？
• RQ4 该方法能否在保持或提升完整性的前提下实现更高的预测正确性？

主要发现

• 所提方法保证了对 PL 或 Mallows 模型的成对偏好概率进行阈值化后，对所有 $ q \in [0.5, 1) $ 均产生有效部分序，从而消除了对循环或传递性修复的需求。
• 理论分析确认，距离度量的对换性质确保了生成部分序的一致性。
• 在 UCI VOWEL 数据集上的实证结果表明，该方法相比基线成对方法能够实现更广范围的完整性值。
• 概率方法改善了正确性与完整性的权衡，在相似或更优的完整性水平下，表现出更高的 gamma 秩相关系数。
• 即使在高完整性水平下，该方法仍保持高正确性，表明其在不确定的成对比较中有效执行了拒绝策略。
• 如图 1 所示，该方法在多个阈值下均优于基线，在正确性和完整性方面表现更优。