[论文解读] Hybrid-MST: A Hybrid Active Sampling Strategy for Pairwise Preference Aggregation

Jing Li, Rafał Mantiuk+3 more|arXiv (Cornell University)|Oct 20, 2018

Advanced Statistical Methods and Models参考文献 37被引用 22

一句话总结

该论文提出 Hybrid-MST，一种用于成对偏好聚合的混合主动采样策略，结合全局最大期望信息增益（EIG）与最小生成树（MST）采样，从稀疏且嘈杂的成对标签中高效恢复潜在评分。通过贝叶斯优化与 Bradley-Terry 模型结合高斯-埃尔米特积分法估算 EIG，Hybrid-MST 实现了批量并行成对比较，在模拟数据集和真实世界 VQA/IQA 数据集上均实现了优于当前最先进方法的评分聚合准确率与鲁棒性。

ABSTRACT

In this paper we present a hybrid active sampling strategy for pairwise preference aggregation, which aims at recovering the underlying rating of the test candidates from sparse and noisy pairwise labelling. Our method employs Bayesian optimization framework and Bradley-Terry model to construct the utility function, then to obtain the Expected Information Gain (EIG) of each pair. For computational efficiency, Gaussian-Hermite quadrature is used for estimation of EIG. In this work, a hybrid active sampling strategy is proposed, either using Global Maximum (GM) EIG sampling or Minimum Spanning Tree (MST) sampling in each trial, which is determined by the test budget. The proposed method has been validated on both simulated and real-world datasets, where it shows higher preference aggregation ability than the state-of-the-art methods.

研究动机与目标

• 为解决在大规模偏好聚合中，从稀疏且嘈杂的成对标签中高效恢复准确潜在评分的挑战。
• 在测试候选对象数量增加时，减少所需成对比较次数，同时保持高预测准确率。
• 在众包平台中实现并行批量成对比较，以加速数据收集。
• 开发一种计算高效的算法，无需显式建模标注者行为即可容忍噪声或错误的标注响应。
• 支持推荐系统、IQA/VQA 以及在线游戏中的玩家匹配等多样化应用场景下的排序与评分推断。

提出的方法

• 该方法采用基于 Bradley-Terry 模型的贝叶斯优化框架，用于建模成对偏好并估算效用函数。
• 通过局部 Kullback-Leibler 散度与贝叶斯定理计算每对的期望信息增益（EIG），以实现可计算性。
• 使用高斯-埃尔米特积分高效估算 EIG，降低计算复杂度。
• 采用混合采样策略，根据当前测试预算动态在全局最大（GM）EIG 采样与基于 MST 的采样之间进行选择。
• MST 模式支持 $n-1$ 项并行成对比较，可在众包平台中实现可扩展的批量执行。
• 该方法不建模标注者特定的噪声，但得益于 MST 结构，对随机或恶意标注具有鲁棒性。

实验结果

研究问题

• RQ1 在标注预算有限的情况下，结合 GM 与 MST 采样的混合主动采样策略是否能在排序与评分聚合方面优于现有方法？
• RQ2 在支持批量成对比较时，所提出的 Hybrid-MST 策略在计算效率与可扩展性方面表现如何？
• RQ3 基于 MST 的采样结构在多大程度上提升了对噪声或错误标注响应的鲁棒性？
• RQ4 在高噪声与不平衡的真实世界 VQA 与 IQA 数据集中，Hybrid-MST 与当前最先进方法（如 Crowd-BT 与 Hodge-active）相比表现如何？
• RQ5 在以排序为主要目标与以评分恢复为主要目标时，Hybrid-MST 在何种条件下比 Hodge-active 更为适用？

主要发现

• 在模拟数据集上，Hybrid-MST 的偏好聚合准确率高于当前最先进方法，尤其在评分恢复方面表现更优。
• 在高噪声与不平衡标注的真实世界 VQA 与 IQA 数据集中，Hybrid-MST 在评分聚合（PLCC 与 RMSE）方面持续优于 Crowd-BT 与 Hodge-active。
• 在排序聚合（Kendall’s tau）方面，Hodge-active 在极低试验次数下略胜 Hybrid-MST，但随着测试预算增加，Hybrid-MST 迅速追上并超越。
• MST 模式支持 $n-1$ 项并行比较，将典型 VQA 实验中 $n=100$ 时的总时间从最坏情况下的约 1485 秒降低至约 17.9 秒。
• Hybrid-MST 对噪声标注表现出强鲁棒性，MST 结构可隐式容忍垃圾标注或随机响应，无需显式建模。
• 该方法计算高效，时间复杂度显著低于需联合处理采样与噪声去除的 Crowd-BT 等方法。