[論文レビュー] Understanding the Impact of Text Highlighting in Crowdsourcing Tasks

Jorge Ramírez, Marcos Báez+2 more|arXiv (Cornell University)|Sep 6, 2019

Mobile Crowdsensing and Crowdsourcing被引用数 8

ひとこと要約

本稿は、クラウドソーシングによるテキスト分類におけるテキスト強調の効果を調査し、機械生成による強調が、品質が高ければ、正確性に悪影響を及たないまま、意思決定時間を最大44％短縮できると提唱している。一方で、低品質の強調は正確性を損なうことが判明した。複数のアノテーターからの強調を統合することで、全体のパフォーマンスが向上し、テキスト分類タスクにおけるスケーラブルで効率的な人間とAIの協働の実用的道筋が示された。

ABSTRACT

Text classification is one of the most common goals of machine learning (ML) projects, and also one of the most frequent human intelligence tasks in crowdsourcing platforms. ML has mixed success in such tasks depending on the nature of the problem, while crowd-based classification has proven to be surprisingly effective, but can be expensive. Recently, hybrid text classification algorithms, combining human computation and machine learning, have been proposed to improve accuracy and reduce costs. One way to do so is to have ML highlight or emphasize portions of text that it believes to be more relevant to the decision. Humans can then rely only on this text or read the entire text if the highlighted information is insufficient. In this paper, we investigate if and under what conditions highlighting selected parts of the text can (or cannot) improve classification cost and/or accuracy, and in general how it affects the process and outcome of the human intelligence tasks. We study this through a series of crowdsourcing experiments running over different datasets and with task designs imposing different cognitive demands. Our findings suggest that highlighting is effective in reducing classification effort but does not improve accuracy - and in fact, low-quality highlighting can decrease it.

研究の動機と目的

• テキスト強調がクラウドソーシングによるテキスト分類タスクにおけるコストと正確性にどのように影響するか、またその条件を調査すること。
• パフォーマンスに好影響を与えるか、逆に悪影響を及ぼすかを左右する強調の品質の閾値を同定すること。
• 複数のアノテーターまたはアルゴリズムからの強調を統合することで、分類結果の改善が図れるかどうかを評価すること。
• 認知的負荷、文書長、タスクの難易度が強調の効果に与える影響を理解すること。
• 今後の研究のための公開可能なアノテート済みデータセットを提供すること。

提案手法

• 文書長や分類の難易度に差がある3つの多様なデータセットを用いて、クラウドソーシング実験を実施した。
• 作業者が強調なし、機械生成による強調、複数のソースからの強調を集約した状態でテキストを分類するタスクのバリエーションを設計した。
• 強調品質をフィルタリングするための信頼度閾値を用い、高品質・低品質・ベースラインの条件を比較した。
• 作業者から意思決定時間、正確性、タスク放棄率、主観的作業負荷を収集し、影響を評価した。
• 回帰分析を用いて、認知的負荷の異なる条件下での強調の意思決定時間および正確性への影響を測定した。
• 独立したアノテーターやアルゴリズムの出力を組み合わせることで、強調の集約を評価した。これは、クラウドソーシングにおける投票集約と同様の手法である。

実験結果

リサーチクエスチョン

• RQ1 テキスト強調は、クラウドソーシングによるテキスト分類タスクで分類正確性を向上させるか？
• RQ2 機械生成による強調の品質が、作業者の正確性および意思決定時間にどのように影響するか？
• RQ3 複数のアノテーターまたはアルゴリズムからの強調を統合することで、全体の分類パフォーマンスが向上するか？
• RQ4 強調の効果は、タスクの難易度、文書長、認知的負荷の変化によって変化するか？
• RQ5 強調は、タスク放棄率および主観的作業負荷にどのような影響を及ぼすか？

主な発見

• 高品質な強調は、ベースラインと比較して意思決定時を最大44％短縮した。3つのデータセットのうち2つで顕著な改善が観察された。
• 意思決定時間を短縮したが、正確性については、ベースラインと比べて有意に向上しなかったが、前向きな傾向を示した。
• 低品質な強調は、一貫して作業者の正確性を低下させ、劣悪な強調は有害である可能性を示した。
• 複数の独立したソースからの強調を統合することで、個々の作業者の正確性が変わっていなくても、全体の分類パフォーマンスが向上した。
• 認知的負荷の高い状況では、強調が特に有効であり、意思決定時間を16％～44％短縮し、タスク放棄率も低下させた。
• 強調が意思決定時間に与える影響は、さまざまなタスク難易度において一貫しており、簡単なタスクや難しいタスクに限らず、利点が得られることを示した。