[論文レビュー] CODA-19: Using a Non-Expert Crowd to Annotate Research Aspects on 10,000+ Abstracts in the COVID-19 Open Research Dataset

Ting-Hao Huang, Chieh-Yang Huang+3 more|arXiv (Cornell University)|Aug 17, 2020

Misinformation and Its Impacts参考文献 57被引用数 11

ひとこと要約

CODA-19 は、アマゾン・メカニカル・トゥルースから得た248名の非専門家労働者を用いて、10,966件のCOVID-19関連研究要約を、背景、目的、手法、結果／貢献、その他のセクションについてアノテートしたクラウドソーシングデータセットである。この手法は専門家レベルの合意（Cohenのカッパ係数 = 0.741）を達成し、専門家ラベルと比較して82.2％の正確性を示した。これは、非専門家がスケールを考慮した高速かつ高品質なアノテーションを生成できることを示している。

ABSTRACT

This paper introduces CODA-19, a human-annotated dataset that codes the Background, Purpose, Method, Finding/Contribution, and Other sections of 10,966 English abstracts in the COVID-19 Open Research Dataset. CODA-19 was created by 248 crowd workers from Amazon Mechanical Turk within 10 days, and achieved labeling quality comparable to that of experts. Each abstract was annotated by nine different workers, and the final labels were acquired by majority vote. The inter-annotator agreement (Cohen's kappa) between the crowd and the biomedical expert (0.741) is comparable to inter-expert agreement (0.788). CODA-19's labels have an accuracy of 82.2% when compared to the biomedical expert's labels, while the accuracy between experts was 85.0%. Reliable human annotations help scientists access and integrate the rapidly accelerating coronavirus literature, and also serve as the battery of AI/NLP research, but obtaining expert annotations can be slow. We demonstrated that a non-expert crowd can be rapidly employed at scale to join the fight against COVID-19.

研究の動機と目的

• 科学的発見とAI研究を支援するため、急増するCOVID-19文献の迅速かつスケーラブルで正確なアノテーションの必要性に対応する。
• 公衆衛生緊急事態において特に深刻な、専門家によるアノテーションの遅さとリソース集約性というボトルネックを克服する。
• 非専門家クラウド労働者が、研究要約のコーディングにおいて、生物医学専門家と同等の品質のラベル付けを達成できることを実証する。
• パンデミックの文脈における科学文献のNLPモデルのトレーニングおよび評価のための大規模で信頼性が高く再利用可能なデータセットを構築する。
• COVID-19オープン研究データセットから構造化された情報を迅速に入手可能にするために、研究論文の標準化された人間によるアノテーションを可能にする。

提案手法

• アマゾン・メカニカル・トゥルースから248名の非専門家クラウド労働者を従事させ、COVID-19オープン研究データセットに含まれる10,966件の英語要約をアノテートした。
• 各要約は9名の異なる労働者によってアノテートされ、信頼性を確保し、個人のバイアスを低減した。
• 全9名のアノテーションの過半数投票を適用して、各要約セクションの最終ラベルを決定した。
• クラウドと生物医学専門家との間のアノテータ間合意度を測定するためにCohenのカッパ係数を用い、信頼性を保証した。
• 最終ラベルを生物医学専門家がラベル付けしたゴールドスタンダードセットと比較して、正確性および合意度指標を算出した。
• 5つのアノテーションカテゴリに焦点を当てた：背景、目的、手法、結果／貢献、その他の項目。

実験結果

リサーチクエスチョン

• RQ1 非専門家クラウド労働者がパンデミックの文脈における科学的研究要約に対して、信頼性があり正確なアノテーションを生成できるか？
• RQ2 非専門家クラウド労働者と生物医学専門家とのアノテータ間合意度は、専門家同士の合意度と比べてどの程度か？
• RQ3 最終的なクラウドアノテートラベルの正確性は、専門家がラベル付けしたゴールドスタンダードと比較してどの程度か？
• RQ4 スケーラブルな非専門家アノテーションパイプラインは、時間的制約のある研究環境において、専門家ベースのアノテーションと同等の品質を達成できるか？
• RQ5 クラウドソーシングによるアノテーションは、下流のNLPおよび科学文献統合タスクをどの程度サポートできるか？

主な発見

• 非専門家クラウドと生物医学専門家とのアノテータ間合意度は0.741（Cohenのカッパ係数）であり、専門家同士の合意度0.788と同等の水準であった。
• 最終的なクラウドアノテートラベルは、専門家がラベル付けしたゴールドスタンダードと比較して82.2％の正確性を示した。
• 専門家がラベル付けしたラベルはわずかに高い85.0％の正確性を示しており、クラウドは非常に信頼性が高いかつ、専門家はわずかに正確性が上回っていることが示された。
• 10,966件の要約からなる全データセットは10日間でアノテート完了し、非常にスケーラブルかつ時間効率の高いプロセスであることが実証された。
• 9名のアノテータによる過半数投票の適用により、ラベルの信頼性が著しく向上し、個々の不一致によるノイズが低減された。
• 結果として、非専門家クラウドを活用して、スケールを考慮した高品質で構造化された科学文献のアノテーションを効果的に生成できることを検証した。