[論文レビュー] A Truth Serum for Large-Scale Evaluations

Vijay Kamble, David Marn+3 more|arXiv (Cornell University)|Jul 25, 2015

Mobile Crowdsensing and Crowdsourcing参考文献 18被引用数 8

ひとこと要約

本稿は、真実の回答を促すために、回答がまれな場合にのみ同士の同意に対して報酬を与えるという、大規模な評価のための新規報酬メカニズムを提案する。このメカニズムでは、回答がまれなほど報酬が高くなる。理論的に、真実の報告が厳密なベイズ・ナッシュ均衡であり、期待報酬において近似的に最適であることを示し、評価規模が大きくなるにつれて、真実の報告を上回る均衡は完全に情報的になることが示される。

ABSTRACT

A major challenge in obtaining large-scale evaluations, e.g., product or service reviews on online platforms, labeling images, grading in online courses, etc., is that of eliciting honest responses from agents in the absence of verifiability. We propose a new reward mechanism with strong incentive properties applicable in a wide variety of such settings. This mechanism has a simple and intuitive output agreement structure: an agent gets a reward only if her response for an evaluation matches that of her peer. But instead of the reward being the same across different answers, it is inversely proportional to a popularity index of each answer. This index is a second order population statistic that captures how frequently two agents performing the same evaluation agree on the particular answer. Rare agreements thus earn a higher reward than agreements that are relatively more common. In the regime where there are a large number of evaluation tasks, we show that truthful behavior is a strict Bayes-Nash equilibrium of the game induced by the mechanism. Further, we show that the truthful equilibrium is approximately optimal in terms of expected payoffs to the agents across all symmetric equilibria, where the approximation error vanishes in the number of evaluation tasks. Moreover, under a mild condition on strategy space, we show that any symmetric equilibrium that gives a higher expected payoff than the truthful equilibrium must be close to being fully informative if the number of evaluations is large. These last two results are driven by a new notion of an agreement measure that is shown to be monotonic in information loss. This notion and its properties are of independent interest.

研究の動機と目的

• 真実が検証できない大規模な評価において、誠実な回答を得る課題に対処すること。
• 多様な評価設定において強いインcentive特性を維持する報酬メカニズムを設計すること。
• 大規模な設定において、真実の行動が厳密なベイズ・ナッシュ均衡であることを保証すること。
• 真実の均衡が、すべての対称均衡の中で期待報酬において近似的に最適であることを示すこと。
• 真実の均衡を上回る均衡が、弱い条件下でもほぼ完全に情報的であることを確立すること。

提案手法

• メカニズムは、エージェントの回答がペアのものと一致する場合にのみ報酬を与えるが、報酬額は回答の「人気度インデックス」に反比例する。
• 人気度インデックスは、評価の過程で二つのエージェントが同じ回答に合意する頻度を測る2次統計量である。
• 合意頻度が低い、つまりまれな回答は高い報酬を受け、真実の報告にインセンティブが働く。
• ゲーム理論的手法を用いて、大規模な設定におけるベイズ・ナッシュ均衡に注目してメカニズムを分析する。
• 情報損失の増加に対して単調である新しい合意尺度を導入し、均衡の効率性の分析を可能にする。
• 理論的分析は、評価タスク数が非常に大きくなる極限における漸近的性質に依存する。

実験結果

リサーチクエスチョン

• RQ1 真実が検証できない大規模な評価において、誠実な報告を促す報酬メカニズムを設計できるか？
• RQ2 このメカニズム下で、誠実な報告が厳密なベイズ・ナッシュ均衡であるか？
• RQ3 誠実な均衡の期待報酬は、他の対称均衡と比べてどのように異なるか？
• RQ4 誠実さよりも高い報酬を得る均衡が満たすべき構造的性質は何か？
• RQ5 新しい合意尺度は、評価システムにおける情報損失とどのように関係するか？

主な発見

• 提案されたメカニズム下で、大規模な設定において真実の報告は厳密なベイズ・ナッシュ均衡である。
• 真実の均衡は、すべての対称均衡の中で期待報酬において近似的に最適であり、評価数が増加するにつれて近似誤差は消える。
• 真実の均衡を上回る期待報酬を得る任意の対称均衡は、評価数が大きい場合には完全に情報的であるに近いものでなければならない。
• 提案された合意尺度は情報損失に対して単調であるため、評価システムにおける情報効率の分析に新たなツールを提供する。
• このメカニズムのインセンティブ構造は、ペアの回答の選択に強く依存せず、真実の正解の検証を必要としない。
• 絶対的な正答率ではなく、回答の相対的なまれさに基づく報酬構造により、強いインセンティブ適合性を達成する。