[論文レビュー] Exposing ambiguities in a relation-extraction gold standard with crowdsourcing

Tong Shu Li, Benjamin M. Good+1 more|arXiv (Cornell University)|May 23, 2015

Biomedical Text Mining and Ontologies参考文献 12被引用数 4

ひとこと要約

本稿では、生物医学的テキストにおける薬剤-疾患関係抽出のゴールドスタンダードを生成するためのクラウドソーシング手法を提案し、クラウドの判断が60件のテスト文において専門家アノテーションと71.7％の一致を示したことを示した。本研究は、専門家とクラウドの両方におけるアノテータ間の一貫性（一致度）が、データやガイドラインの曖昧さを再現可能に示す指標として機能することを明らかにした。これにより、クラウドソーシングの有効性が裏付けられ、ゴールドスタンダードに一致度メトリクスを公開する必要性が強調された。

ABSTRACT

Semantic relation extraction is one of the frontiers of biomedical natural language processing research. Gold standards are key tools for advancing this research. It is challenging to generate these standards because of the high cost of expert time and the difficulty in establishing agreement between annotators. We implemented and evaluated a microtask crowdsourcing approach that can produce a gold standard for extracting drug-disease relations. The aggregated crowd judgment agreed with expert annotations from a pre-existing corpus on 43 of 60 sentences tested. The levels of crowd agreement varied in a similar manner to the levels of agreement among the original expert annotators. This work rein-forces the power of crowdsourcing in the process of assembling gold standards for relation extraction. Further, it high-lights the importance of exposing the levels of agreement between human annotators, expert or crowd, in gold standard corpora as these are reproducible signals indicating ambiguities in the data or in the annotation guidelines.

研究の動機と目的

• クラウドソーシングを用いた高品質なゴールドスタンダードの作成が、生物医学的関係抽出分野で実現可能かどうかを評価すること。
• 事前に構築されたコーパスにおいて、クラウドの判断が専門家アノテーションとどの程度一致するかを評価すること。
• 専門家とクラウドの両方におけるアノテータ間の一貫性（一致度）が、データやアノテーションガイドラインの曖昧さを示すものかどうかを調査すること。
• ゴールドスタンダードコーパスにおける曖昧さの再現可能な指標として、一致度スコアが機能することを実証すること。

提案手法

• 60件の生物医学的文における薬剤-疾患関係の有無（あり／なし）を判断するためのマイクロタスク型クラウドソーシングプラットフォームを設計した。
• クラウド作業者が独立して文をアノテートし、各文に対して複数のアノテータが処理することで信頼性を確保した。
• 集約されたクラウド判断を、事前に構築されたゴールドスタンダードコーパスからの専門家アノテーションと比較した。
• アノテータ間の一貫性を測定するために、FleissのKappaを用いて、専門家およびクラウド両方のアノテータ間の一貫性を定量化した。
• 文ごとの一致度パターンを分析し、低一致度の文を特定することで、曖昧さの兆候となる例を同定した。
• 60文のホールドアウトテストセットにおいて、クラウドのパフォーマンスを専門家アノテーションと比較することで、結果の妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 クラウドソーシングは、生物医学的テキストにおける薬剤-疾患関係抽出の信頼できるゴールドスタンダードを生成可能か？
• RQ2 同じ文のセットに対して、クラウドアノテータの一致度は専門家アノテータのそれと比べてどの程度か？
• RQ3 アノテータ間の低一致度は、データそのものやアノテーションガイドラインの真の曖昧さをどの程度反映しているか？
• RQ4 アノテータ間一致度は、ゴールドスタンダードコーパスにおける曖昧さの再現可能なシグナルとして機能できるか？
• RQ5 一致度メトリクスを公開することで、ゴールドスタンダードデータセットの透明性と有用性が向上するか？

主な発見

• 集約されたクラウド判断は、60件のテスト文において専門家アノテーションと71.7％の一致を示し、専門家レベルのラベル付けと強い整合性を示した。
• クラウドアノテータ間の一致度の水準は、元の専門家アノテータ間の一致度の水準と非常に類似していた。
• アノテータ間で低い一致度を示した文は、曖昧な表現や明確でない意味的関係を含む傾向にあった。
• 本研究は、クラウドソーシングが生物医学的NLP分野におけるゴールドスタンダード作成の実用的でコスト効果的な手法である可能性を裏付けた。
• 一致度スコアを公開することで、曖昧さの透明で再現可能な指標が得られ、研究者がデータ内での問題のある例や曖昧な例を特定するのを支援する。
• 結果から、モデル開発や評価を支援するため、ゴールドスタンダードコーパスに一致度メトリクスを含める重要性が強調された。