[论文解读] A Cost-Effective Framework for Preference Elicitation and Aggregation

Zhibing Zhao, Haoming Li+5 more|arXiv (Cornell University)|May 14, 2018

Mobile Crowdsensing and Crowdsourcing参考文献 25被引用 14

一句话总结

该论文提出了一种在具有特征的Plackett-Luce模型下，针对偏好获取与聚合的低成本框架，通过迭代、成本感知的问题选择策略，实现单位成本下的最大信息增益。该框架引入了最小成对确定性（MPC）信息准则，其表现优于随机查询，在预算约束下以更少的查询次数显著降低了获胜者分布估计的总变差距离。

ABSTRACT

We propose a cost-effective framework for preference elicitation and aggregation under the Plackett-Luce model with features. Given a budget, our framework iteratively computes the most cost-effective elicitation questions in order to help the agents make a better group decision. We illustrate the viability of the framework with experiments on Amazon Mechanical Turk, which we use to estimate the cost of answering different types of elicitation questions. We compare the prediction accuracy of our framework when adopting various information criteria that evaluate the expected information gain from a question. Our experiments show carefully designed information criteria are much more efficient, i.e., they arrive at the correct answer using fewer queries, than randomly asking questions given the budget constraint.

研究动机与目标

• 为在资源有限的情况下高效获取偏好提供解决方案，特别是在因规模过大而无法进行完整偏好获取时。
• 开发一种灵活的框架，整合随机投票规则、排序模型与信息准则，用于群体决策。
• 使用带有特征的Plackett-Luce模型对非确定性偏好进行建模，实现对获胜者分布的概率化表示。
• 评估并比较不同信息准则，以选择最具成本效益的偏好获取问题。
• 通过Amazon Mechanical Turk实验对框架进行实证验证，以估算现实世界中的查询成本。

提出的方法

• 该框架采用迭代过程：在每一步中，基于衡量单位成本下预期信息增益的信息准则，选择最具成本效益的问题。
• 使用带有特征的Plackett-Luce模型对参与者偏好进行建模，支持对备选项的概率化评分。
• 在每次响应后更新模型参数的后验分布，作为下一轮迭代的先验。
• 采用随机投票规则计算获胜者分布，理论证明表明获胜概率与各参与者的总期望得分成正比。
• 提出最小成对确定性（MPC）准则，以最大化在最不确定的成对比较中信息的改善，扩展了先前工作。
• 利用后验分布的渐近多变量正态近似（通过复合边缘似然）评估信息准则（D-最优性、E-最优性、MPC、随机）的性能。

实验结果

研究问题

• RQ1 如何选择最具成本效益的偏好获取问题，以在保持高预测准确度的同时最小化查询次数？
• RQ2 在预算约束下，不同信息准则（如MPC、D-最优性、E-最优性）在查询效率与准确度方面如何比较？
• RQ3 在多大程度上，利用常规群体推断关键群体偏好可以降低获取成本，同时保持准确度？
• RQ4 所提出的框架能否在Plackett-Luce模型下，有效利用概率投票规则估计获胜者分布？
• RQ5 不同问题类型（如成对比较、首选项、完整排序）的成本如何影响偏好获取的整体效率？

主要发现

• 在预算为$0.85时，MPC准则在概率多数制与Borda计票规则下，均比随机获取方式将总变差距离降低15%。
• 为达到总变差距离0.064，MPC在概率多数制下比随机获取节省20%成本，在Borda计票规则下节省23.5%成本。
• D-最优性准则始终选择完整排序作为最具成本效益的问题，而MPC在早期阶段更倾向于选择完整排序而非成对比较。
• E-最优性表现出与MPC相似的问题选择模式，而所有非随机准则均避免选择'首选项'问题（k=1,l=10），尽管其成本最低。
• 该框架在Amazon Mechanical Turk的真实成本估算下表现出可行性，表明尽管完整排序成本较高，但能提供显著的信息增益。
• 每次迭代的后验参数估计可准确计算获胜者分布，验证了在框架中使用随机投票规则的有效性。