[論文レビュー] Peer Prediction with Heterogeneous Tasks

Debmalya Mandal, Matthew Leifer+3 more|arXiv (Cornell University)|Dec 3, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 9被引用数 8

ひとこと要約

本稿では、異種のタスク（各タスクが異なる信号分布を持つ）の設定において真実の報告を促進する、相関的合意―異種（CAH）メカニズムを導入する。CAHは、タスク固有の応答分布を考慮するように相関的合意フレームワークを拡張することで、単一タスクメカニズム（RPTS や Kamble など）に比べ、実世界のクラウドソーシングデータを用いたシミュレーションで優れた性能を示す。このメカニズムは、単一の報告者による不正報告および協力的不正報告の両方に対して、真実の報告を保証し、強固なインcentive構造を維持する。

ABSTRACT

Peer prediction is a method to promote contributions of information by users in settings in which there is no way to verify the quality of responses. In multi-task peer prediction, the reports from users across multiple tasks are used to score contributions. This paper extends the correlated agreement (CA) multi-task peer prediction mechanism to allow the reports from users to be on heterogeneous tasks, each associated with different distributions on responses. The motivation comes from wanting to elicit user-generated content about places in a city, where tasks vary because places, and questions about places, vary. We prove that the generalized CA mechanism is informed truthful under weak conditions, meaning that it is strictly beneficial for a user to invest effort and acquire information, and that truthful reporting is the best strategy when investing effort, as well as an equilibrium. We demonstrate that the mechanism has good incentive properties when tested in simulation on distributions derived from user reports on Google Local Guides.

研究の動機と目的

• タスクが同一であると仮定する従来のpeer predictionメカニズムのギャップを埋めるために、タスクが異なる潜在的応答分布を持つ状況をモデル化すること。
• タスクが異種であり、信号が異なる分布から抽出される状況においても、特に「情報に基づく真実報告」の強いインcentiveを維持するメカニズムを設計すること。
• 提案されたメカニズムが、単一の報告者による逸脱行動および協力的不正報告戦略の両方に対して、どれほど耐性があるかを評価すること。
• 既存の単一タスクメカニズム（例：RPTS, Kamble）よりも、実世界データのシミュレーションにおいて優れた性能を示すことを実証すること。

提案手法

• タスク固有の同時分布および周辺分布をモデル化することで、相関的合意（CA）メカニズムを異種タスクに対応させる。
• 信号の相関に基づき、同じタスクでの合意を報酬とし、異なるタスク間での合意をペナルティとするスコアルールを用いる。
• 事前知識として同時分布が不明な状況でも、ユーザーの報告から信号分布を経験的に推定し、スコアを計算する。
• 地域・事業種別・質問の三つ組み（region, business type, question）をタスクインスタンスとして、クラウドソーシングプラットフォームの実データを用いたシミュレーションフレームワークを構築する。
• 報告から必要な統計量を推定するCAHRというバリエーションを実装し、インcentive互換性を維持する。
• エージェントが信号を取得するために努力するか、ランダムに報告するかの二択であるバイナリーエフェクトモデルを採用し、さまざまな戦略下での期待支払いを評価する。

実験結果

リサーチクエスチョン

• RQ1 タスクが異なる潜在的応答分布を持つ状況において、peer predictionメカニズムが真実の報告インセンティブを維持できるか？
• RQ2 RPTS や Kamble といった単一タスクメカニズムと比較して、提案されたメカニズムは協力的不正報告に対してどれほど耐性があるか？
• RQ3 エージェントが非真実戦略（例：定数報告、ランダム報告）を協力的に採用した場合でも、メカニズムは依然として強固か？
• RQ4 主観的質問と事実的質問の違いが、CAHメカニズム下での期待支払いにどのように影響するか？

主な発見

• CAHメカニズムは弱い条件下でも情報に基づく真実報告を保証する。すなわち、努力を払った場合、嘘をつくよりも真実を言う方が常に期待効用が高くなる。
• すべての人口割合 p に対して、CAHは真実報告下での期待支払いが、他のあらゆる協力的戦略（例：const-0, const-1, random）よりも高いことを示し、協力的不正報告に対して強い耐性を持つ。
• 一方、RPTS や Kamble メカニズムでは、中間的な p 値において、ランダム戦略による協力的不正報告が利益をもたらすことがあり、耐性が弱いことが示された。
• 主観的質問では、事実的質問と比較してCAH下での期待支払いが低くなる傾向にあり、これは応答の知覚的ばらつきが大きいことに一致する。
• 経験的バージョンのCAH（CAHR）は、強いインcentive保証を維持するが、単一タスクメカニズムの経験的バージョンは、そのような保証を失うことがある。
• マッププラットフォームの実データを用いたシミュレーション結果から、CAHはインcentive整合性および不正報告への耐性の両面で、RPTS や Kamble よりも顕著に優れていることが示された。