[論文レビュー] Cicero: Multi-Turn, Contextual Argumentation for Accurate Crowdsourcing

Quan Ze Chen, Jonathan Bragg+2 more|arXiv (Cornell University)|Oct 25, 2018

Mobile Crowdsensing and Crowdsourcing参考文献 34被引用数 11

ひとこと要約

Ciceroは、対照的な回答を持つクラウドワーカーをペアリングし、リアルタイムでルールに基づいた議論を行う同期的で複数回にわたる文脈認識型の議論ワークフローを提案する。これにより、難易度の高いNLPタスクにおける個人の正確性が著しく向上し、ワンショット議論と比較して16.7ポイントの改善を達成。Codenamesのような複数の回答が可能なタスクでは、正確性を66.7％から98.8％まで向上させた。

ABSTRACT

Traditional approaches for ensuring high quality crowdwork have failed to achieve high-accuracy on difficult problems. Aggregating redundant answers often fails on the hardest problems when the majority is confused. Argumentation has been shown to be effective in mitigating these drawbacks. However, existing argumentation systems only support limited interactions and show workers general justifications, not context-specific arguments targeted to their reasoning. This paper presents Cicero, a new workflow that improves crowd accuracy on difficult tasks by engaging workers in multi-turn, contextual discussions through real-time, synchronous argumentation. Our experiments show that compared to previous argumentation systems which only improve the average individual worker accuracy by 6.8 percentage points on the Relation Extraction domain, our workflow achieves 16.7 percentage point improvement. Furthermore, previous argumentation approaches don't apply to tasks with many possible answers; in contrast, Cicero works well in these cases, raising accuracy from 66.7% to 98.8% on the Codenames domain.

研究の動機と目的

• 難易度の高い複雑なタスクにおける従来のクラウドワーキングおよびワンショット議論の限界を解決すること。
• 多くの可能な回答が存在するタスクに適用される際、既存の議論システムのスケーラビリティおよび実用性の問題を克服すること。
• 誤解を是正し、推論を精練する文脈特化型の複数回にわたる議論を可能にすることで、個人ワーカーの正確性を向上させること。
• タスク固有の知識を超えた議論スキルの訓練を通じて、高品質で的を射た議論を支援するシステムを開発すること。
• 同期的でリアルタイムの議論ワークフローが、困難なアノテーションタスクでほぼ完璧な正確性を達成できるかを実証すること。

提案手法

• インスタントメッセージングを模した同期的でリアルタイムの議論インターフェースを実装し、同じ質問に対して対照的な回答を持つワーカー間でライブで行き違いの議論を可能にする。
• 同じ質問に対して相反する回答を示したワーカーをペアリングし、特定の推論の欠陥やタスクルールに関する生産的な議論を促進する。
• ゲート付きの指示と、新たな正当化訓練タスクを導入し、ワーカーが文脈特化型の議論を構築・評価する能力を向上させる。
• 議論中に訓練ルールを引用し、見落としを特定し、誤解を是正できるようにすることで、より深い推論と正しい答えへの収束を促進する。
• 制御された高品質な議論トランスクルプションの収集・分析・評価を可能にするリアルタイムシステム（Cicero-Sync）を用いる。
• 2つのドメインにこのワークフローを適用：関係抽出（2択）と変更されたCodenamesタスク（多数の可能な答え）。これにより、従来のワンショットシステムと比較可能となる。

実験結果

リサーチクエスチョン

• RQ1 複数回にわたる文脈認識型議論は、ワンショット議論と比較して、難易度の高いNLPアノテーションタスクにおける個人ワーカーの正確性を著しく向上させることができるか？
• RQ2 多数の可能な答えが存在するタスクにおいて、事前に収集された反論が非現実的となる状況で、Ciceroワークフローはどの程度効果的か？
• RQ3 高品質で複数回にわたる議論セッションで顕在するディスcourseパターンは何か？また、それらは正確性の向上にどのように寄与するか？
• RQ4 議論訓練とシステム設計は、クラウドワーカーの推論品質および正しい答えへの収束にどの程度向上効果をもたらすか？
• RQ5 リアルタイムで同期的な議論ワークフローは、従来の手法が失敗する高リスクまたは複雑なタスクでほぼ完璧な正確性を達成できるか？

主な発見

• Ciceroは関係抽出タスクにおいて、ワーカー個人の正確性を16.7ポイント向上させた。これは、MicroTalkの6.8ポイントの改善を著しく上回った。
• 複数の回答が可能なCodenamesドメインでは、Ciceroにより個人の正確性が66.7％から98.8％まで向上した。これはワンショット議論が非現実的となる状況でも有効であることを示した。
• 従来の多数決およびEM手法は、類似したタスクで約65％の正確性に飽和しており、Ciceroの議論アプローチの優位性を裏付けた。
• 議論トランスクルプションの定性的分析から、ルールの引用、誤りの特定、誤解の是正といった繰り返しの現れるディスcourseパターンが、正確性向上の鍵であった。
• このシステムの成功は、ワーカーの議論スキルの訓練に依存しており、推論の質がタスク知識と議論の熟練度の両方に依存することを示した。
• 同期的議論により、より深い推論と誤りの是正が可能となり、複数回のやり取りが、ワンショットシステムでは解決できなかった微細な誤解を解消した。