[论文解读] Consensus of Dependent Opinions

Sujoy Chatterjee, Anirban Mukhopadhyay+1 more|arXiv (Cornell University)|Sep 6, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 5被引用 4

一句话总结

本文提出了一种新颖的众包系统共识判断框架，其中由于可见先前响应，意见之间存在依赖性。通过测量信心下降、可靠性和准确性来加权众包工作者的意见，从而在意见依赖的情况下识别出自信、一致且准确的贡献者，提升共识质量。

ABSTRACT

Providing opinions through labeling of images, tweets, etc. have drawn immense interest in crowdsourcing markets. This invokes a major challenge of aggregating multiple opinions received from different crowd workers for deriving the final judgment. Generally, opinion aggregation models deal with independent opinions, which are given unanimously and are not visible to all. However, in many real-life cases, it is required to make the opinions public as soon as they are received. This makes the opinions dependent and might incorporate some bias. In this paper, we address a novel problem, hereafter denoted as dependent judgment analysis, and discuss the requirements for developing an appropriate model to deal with this problem. The challenge remains to be improving the consensus by revealing true opinions.

研究动机与目标

• 解决从依赖性众包意见中获取准确共识的挑战，其中工作者在提交自己意见前可以看到他人的响应。
• 识别由意见依赖引入的偏差（如从众或过度自信），并量化其对判断质量的影响。
• 开发一种判断分析模型，整合独立（先验）和依赖（后验）意见，以评估工作者的可靠性和准确性。
• 引入新度量指标——信心下降、可靠性和准确性，用于加权个体意见，提升最终共识的准确性。
• 在开放众包平台中实现稳健的共识，其中透明度和实时意见可见性是关键要素

提出的方法

• 将意见聚合过程建模为四元组 (Q, W, τ, T)，其中 Q 为问题集合，W 为众包工作者，τ 为意见随时间的映射，T 为到达时间。
• 将“信心下降”定义为工作者先验独立意见与其后验依赖意见之间的绝对差值（在观察他人意见后）。
• 将可靠性计算为个体意见偏差与所有工作者在独立与依赖阶段平均偏差之比的倒数。
• 将准确性定义为工作者后验意见与给定问题所有后验意见平均值之间的绝对差值。
• 将信心下降、可靠性与准确性作为权重，应用于加权聚合模型，以计算最终共识判断。
• 提出两阶段数据收集方法：首先收集独立意见（不可见）；其次收集依赖意见（在查看他人评分后），以支持比较与度量计算。

实验结果

研究问题

• RQ1 在由于先前响应可见而导致意见依赖的众包系统中，如何改善共识？
• RQ2 意见依赖在多大程度上引入了偏差？这种偏差能否通过可度量的指标进行量化？
• RQ3 哪些度量能够有效捕捉众包工作者在依赖意见情境下的信心、一致性和与群体的一致性？
• RQ4 如何利用先验独立意见来评估依赖意见的可靠性和准确性？
• RQ5 基于信心下降、可靠性和准确性的加权共识模型，是否能在依赖意见场景中优于标准聚合方法？

主要发现

• 信心下降度量能有效捕捉众包工作者在看到他人意见后修改自己意见的程度，表明可能存在偏差或信心不足。
• 可靠性定义为个体偏差与平均偏差之比的倒数，提供了工作者在独立与依赖意见阶段之间一致性的量化度量。
• 准确性通过工作者后验意见与所有后验意见平均值之间的距离来衡量，可识别出与群体共识对齐程度高的工作者。
• 将信心下降、可靠性和准确性整合到加权聚合模型中，可通过降低不一致或高度从众贡献者的权重，提升共识质量。
• 两阶段数据收集（先独立意见，后依赖意见）使得能够推导出有意义的工作者行为与意见依赖度量。
• 所提出的模型可适配现实世界开放众包平台，其中意见可见性是固有特性，为依赖性判断分析缺乏现有框架的问题提供了可行解决方案。