[論文レビュー] Consensus of Dependent Opinions

Sujoy Chatterjee, Anirban Mukhopadhyay+1 more|arXiv (Cornell University)|Sep 6, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 5被引用数 4

ひとこと要約

この論文は、過去の回答が可視であるために意見が依存するクラウドソーシングシステムにおけるコンSENSUS判断のための新規フレームワークを提案する。信頼性、正確性、および信頼度の低下を測定することで、意見の依存性にもかかわらず、自信があり、一貫性があり、正確な貢献者を特定し、コンセンサスを向上させる。

ABSTRACT

Providing opinions through labeling of images, tweets, etc. have drawn immense interest in crowdsourcing markets. This invokes a major challenge of aggregating multiple opinions received from different crowd workers for deriving the final judgment. Generally, opinion aggregation models deal with independent opinions, which are given unanimously and are not visible to all. However, in many real-life cases, it is required to make the opinions public as soon as they are received. This makes the opinions dependent and might incorporate some bias. In this paper, we address a novel problem, hereafter denoted as dependent judgment analysis, and discuss the requirements for developing an appropriate model to deal with this problem. The challenge remains to be improving the consensus by revealing true opinions.

研究の動機と目的

• 作業者が自身の回答を提出する前に他の人の回答を閲覧できるため、依存するクラウドの意見から正確なコンセンサスを導く課題に対処する。
• コンプライアンスや過剰な自己確信などの、意見の依存性によって生じるバイアスを特定し、その影響を測定可能な指標で定量化する。
• 独立（事前）および依存（事後）の両方の意見を統合する判断分析モデルを構築し、作業者の信頼性と正確性を評価する。
• 信頼度の低下、信頼性、正確性という新しい指標を導入し、個々の意見に重み付けすることで、最終的なコンセンサスの正確性を向上させる。
• 透明性とリアルタイムでの意見可視性が不可欠なオープンなクラウドソーシングプラットフォームでも、頑健なコンセンサスを実現可能にする。

提案手法

• 意見集約プロセスを四元組 (Q, W, τ, T) としてモデル化する。ここで、Q は質問の集合、W はクラウド作業者、τ は時間経過に伴う意見のマッピング、T は到着時刻を表す。
• 「信頼度の低下」を、作業者が事前に独立して持っていた意見と、他の人の意見を観察した後に持つようになった後での意見との絶対差として定義する。
• 信頼性を、個人の意見のずれと全作業者の平均ずれの比の逆数として計算する。この計算は、独立フェーズと依存フェーズの両方で行う。
• 正確性を、特定の質問についての作業者の事後意見と、全作業者の事後意見の平均との絶対差として定義する。
• 信頼度の低下、信頼性、正確性の各指標を重みとして用い、重み付き集約モデルを構築し、最終的なコンセンサス判断を算出する。
• 2段階のデータ収集を提案する：まず、可視化されない独立した意見を収集する。次に、他の人のスコアを閲覧した後の依存的な意見を収集することで、比較と指標計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 過去の回答が可視であるために意見が依存するクラウドソーシングシステムにおいて、どのようにしてコンセンサスを改善できるか？
• RQ2 意見の依存性がどれほどバイアスを引き起こすか、そしてその影響を測定可能な指標でどのように定量化できるか？
• RQ3 依存的意見設定において、作業者の自信、一貫性、およびグループとの整合性を効果的に捉えることができる指標は何か？
• RQ4 事前の独立した意見をどのように活用して、依存的意見の信頼性と正確性を評価できるか？
• RQ5 信頼度の低下、信頼性、正確性に基づく重み付きコンセンサスモデルは、従来の集約手法に比べて、依存的意見の状況で優れた性能を示せるか？

主な発見

• 信頼度の低下という指標は、作業者が他の人の意見を観察した後に自分の意見をどれほど変更したかを効果的に捉えており、バイアスや自信の欠如の兆候を示している。
• 信頼性は、個人のずれと平均ずれの比の逆数として定義され、独立フェーズと依存フェーズにおける作業者の一貫性を定量的に測る指標を提供する。
• 正確性は、作業者の事後意見と全作業者の事後意見の平均との距離として測定され、作業者がグループのコンセンサスにどれほど近いかを特定する。
• 信頼度の低下、信頼性、正確性を統合した重み付き集約モデルにより、一貫性がなく、過剰に同調的であるとされる貢献者の重みを低減し、コンセンサスの質が向上する。
• 2段階のデータ収集（独立した意見、その後に依存的な意見）により、作業者の行動と意見の依存性に関する意味のある指標を導出可能である。
• 提案されたモデルは、意見の可視性が本質的な実世界のオープンなクラウドソーシングプラットフォームにも適応可能であり、依存的判断分析のための既存のフレームワークの欠如に対する解決策を提供する。