[論文レビュー] Crowdsourcing Information Extraction for Biomedical Systematic Reviews

Yalin Sun, Pengxiang Cheng+5 more|arXiv (Cornell University)|Sep 5, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 4被引用数 12

ひとこと要約

本研究では、システマティックレビューのための構造化されたバイオメディカル介入データを、臨床試験の要約からクラウドソーシングを用いて抽出する可能性を検討する。CrowdFlower上で明確な指示、検証チェック、品質管理を施したタスクを設計することで、専門家でない作業者が、専門家による抽出の費用の一部にとどまるコストで、妥当な正確性（例：主要な分野で70％以上）を達成できることを示した。これは、エビデンスベースド・メディスンのデータ収集において、スケーラブルな代替手段としてクラウドソーシングが有効である可能性を示唆している。

ABSTRACT

Information extraction is a critical step in the practice of conducting biomedical systematic literature reviews. Extracted structured data can be aggregated via methods such as statistical meta-analysis. Typically highly trained domain experts extract data for systematic reviews. The high expense of conducting biomedical systematic reviews has motivated researchers to explore lower cost methods that achieve similar rigor without compromising quality. Crowdsourcing represents one such promising approach. In this work-in-progress study, we designed a crowdsourcing task for biomedical information extraction. We briefly report the iterative design process and the results of two pilot testings. We found that giving more concrete examples in the task instruction can help workers better understand the task, especially for concepts that are abstract and confusing. We found a few workers completed most of the work, and our payment level appeared more attractive to workers from low-income countries. In the future, we will further evaluate our results with reference to gold standard extractions, thus assessing the feasibility of tasking crowd workers with extracting biomedical intervention information for systematic reviews.

研究の動機と目的

• クラウドソーシングが、バイオメディカルのシステマティックレビューにおける専門家ベースのデータ抽出のコスト効率の良い代替手段として機能できるかどうかを検討すること。
• 臨床試験の要約から構造化された介入データ（例：投与量、期間、経路）を抽出するためのクラウドソーシングタスクを設計し、反復的に最適化すること。
• 詳細な指示、必須項目、品質管理メカニズムなどのタスク設計要因が、作業者のパフォーマンスとデータ品質に与える影響を評価すること。
• このアプローチを大規模なシステマティックレビューのデータ抽出にスケーリングする可能性を評価すること。
• クラウドソーシングの結果をゴールドスタンダードのアノテーションと比較し、主なデータ項目における正確性を評価すること。

提案手法

• タスクはCrowdFlowerプラットフォームに展開され、作業者が96件のRCT要約から、投与量、期間、経路、スケジュールなどの介入詳細を構造化されたテキストボックスに入力した。
• 各要約には3つの判断が割り当てられ、信頼性を高めるために多数決による集約処理が行われた。
• 低品質な作業者を除外するために、23件の「簡単な」要約からなる事前スクリーニングのクイズが使用され、一貫性をモニタリングするための「ハニーポット」例も挿入された。
• パイロットフィードバックに基づき、反復的にタスク設計を改善した。これには、必須項目のバリデーターの追加や、より多くのラベル例を含む明確な指示の追加が含まれた。
• 2番目のパイロットでは、作業者を英語圏の国に制限することで、指示の理解度とデータ品質を向上させた。
• データ品質はテスト問題と作業者満足度指標を用いて評価され、一貫性と正確性に注目した。

実験結果

リサーチクエスチョン

• RQ1 非専門家であるクラウド作業者が、臨床試験の要約から構造化されたバイオメディカル介入データを正確に抽出できるか？
• RQ2 指示、必須項目、品質管理メカニズムなどのタスク設計要因が、データ品質と作業者パフォーマンスに与える影響は何か？
• RQ3 作業者を英語圏の国に制限することで、データの正確性と一貫性にどのような影響があるか？
• RQ4 主な項目（治療名、投与量、サンプルサイズなど）について、クラウドソーシングの結果とゴールドスタンダードのアノテーションとの正確性を比較するとどうなるか？
• RQ5 クラウドソーシングは、システマティックレビューのデータ抽出において、専門家ベースの抽出と比べて著しく低いコストで十分な正確性を達成できるか？

主な発見

• 2番目のパイロットでは、テスト問題の正答率が94.3％に達し、設計の改善に伴い作業者の理解度とパフォーマンスが向上したことが示された。
• 2番目のパイロットでは、作業者満足度スコアが著しく向上し、特に指示の明確さ、仕事のしやすさ、テスト問題の公平性の面で顕著だった。
• 設計改善後、抽出された回答のフォーマットが著しく洗練され、一貫性が高まった。特に必須項目と明確な例の追加のおかげで顕著だった。
• 作業の大部分が少数の作業者によって完了されていることが明らかになり、クラウドソーシングタスクにおける作業負荷の不均衡の可能性が示された。
• 一部の作業者から、報酬が不満に感じられ、現在の報酬水準が作業者の維持とモチベーション向上の観点から見直しが必要であると指摘された。
• ゴールドスタンダードのアノテーションとの初步的な比較では、サンプルサイズ、治療群のサイズ、介入名などの主な項目で正確性が0.70を超えることが示唆された。