[论文解读] Informed Truthfulness in Multi-Task Peer Prediction

Victor Shnayder, Arpit Agarwal+2 more|NOT FOUND REPOSITORY (Indian Institute of Science Bangalore)|Mar 10, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 21被引用 11

一句话总结

本文提出了相关一致（CA）机制，一种多任务对等预测系统，通过激励对齐使诚实报告成为最优策略，且严格优于无信息策略。该机制通过基于相关性的评分方法，在非二元信号领域实现强诚实性，其无需细节的变体在无需信号分布知识的情况下仍能保持$\epsilon$-知情诚实性。

ABSTRACT

The problem of peer prediction is to elicit information from agents in settings without any objective ground truth against which to score reports. Peer prediction mechanisms seek to exploit correlations between signals to align incentives with truthful reports. A long-standing concern has been the possibility of uninformative equilibria. For binary signals, a multi-task mechanism [Dasgupta-Ghosh '13] achieves strong truthfulness, so that the truthful equilibrium strictly maximizes payoff. We characterize conditions on the signal distribution for which this mechanism remains strongly-truthful with non-binary signals, also providing a greatly simplified proof. We introduce the Correlated Agreement (CA) mechanism, which handles multiple signals and provides informed truthfulness: no strategy profile provides more payoff in equilibrium than truthful reporting, and the truthful equilibrium is strictly better than any uninformed strategy (where an agent avoids the effort of obtaining a signal). The CA mechanism is maximally strongly truthful, in that no mechanism in a broad class of mechanisms is strongly truthful on a larger family of signal distributions. We also give a detail-free version of the mechanism that removes any knowledge requirements on the part of the designer, using reports on many tasks to learn statistics while retaining epsilon-informed truthfulness.

研究动机与目标

• 设计一种对等预测机制，确保在具有非二元信号的多任务环境中，诚实报告是唯一最优策略。
• 通过确保诚实报告严格优于无信息策略，解决多任务对等预测中长期存在的无信息均衡问题。
• 将[3]中二元信号强诚实性机制推广至类别型和有序非二元信号领域。
• 开发一种无需细节的机制变体，能够从报告中学习信号相关性，消除对信号分布先验知识的需求。
• 正式刻画机制在多种信号分布下保持强诚实性的条件。

提出的方法

• CA机制基于成对信号相关性矩阵（$\Delta$）的符号结构计算得分，确保诚实报告能最大化期望收益。
• 采用多任务设计，参与者在多个相关任务中报告信号，支付基于报告中的一致性模式确定。
• 证明了即使在感知质量存在异质性的条件下，诚实报告的期望收益也严格高于任何无信息策略。
• 提出一种无需细节的变体，能够实时从参与者报告中估计$\Delta$，在高概率下保持$\epsilon$-知情诚实性。
• 证明技术通过将分析简化为基于符号的相关性结构，避免了复杂的分布假设，从而简化了先前的工作。
• 通过证明其最大性，表明在广泛类别的多任务机制中，无其他机制能在更大类别的信号分布上实现强诚实性。

实验结果

研究问题

• RQ1 在何种信号分布条件下，诚实报告是多任务对等预测中具有非二元信号的唯一最高收益均衡？
• RQ2 能否设计一种机制，确保在多信号领域中诚实报告严格优于所有无信息策略？
• RQ3 如何在无需事先知晓信号分布知识的前提下实现强诚实性？
• RQ4 多任务对等预测中强诚实性的边界是什么？能否在广泛类别中实现机制的最大强诚实性？
• RQ5 潜在的非预期信号或虚假相关性在多大程度上可被参与者利用？该机制能否防止此类操纵？

主要发现

• CA机制在一般多信号领域中实现了知情诚实性，确保诚实报告的期望收益严格高于任何无信息策略。
• 在二元情况下，该机制退化为[3]中的二元信号机制，保持强诚实性。
• 其为最大强诚实机制，即在广泛类别的多任务机制中，无其他机制能在更大类别的信号分布上实现强诚实性。
• CA的无需细节版本能够从参与者报告中学习相关性结构，并在无信号分布先验知识的情况下仍保持$\epsilon$-知情诚实性。
• 只要$\Delta$矩阵的符号结构在各对参与者之间保持一致，该机制对参与者异质性具有鲁棒性。
• 当诚实报告的期望收益超过基于虚假相关性的替代策略可能获得的最大收益时，该机制可防止通过非预期信号的操纵。