[論文レビュー] NUBES: A Corpus of Negation and Uncertainty in Spanish Clinical Texts

Salvador Lima, Naiara Pérez+2 more|arXiv (Cornell University)|Apr 2, 2020

Natural Language Processing Techniques参考文献 23被引用数 10

ひとこと要約

NUBesは、否定および不確実性のラベルが付与された大規模かつ公開可能なスペイン語臨床テキストコーパスであり、29,682文の詳細なラベル付け（キュー、スコープ、イベント、極性）を含む。これはスペイン語で体系的に予測のラベルを含めた最初のコーパスであり、深層学習実験を通じて検証され、生物医学分野におけるNLPの新しいベンチマークを確立した。

ABSTRACT

This paper introduces the first version of the NUBes corpus (Negation and Uncertainty annotations in Biomedical texts in Spanish). The corpus is part of an on-going research and currently consists of 29,682 sentences obtained from anonymised health records annotated with negation and uncertainty. The article includes an exhaustive comparison with similar corpora in Spanish, and presents the main annotation and design decisions. Additionally, we perform preliminary experiments using deep learning algorithms to validate the annotated dataset. As far as we know, NUBes is the largest publicly available corpus for negation in Spanish and the first that also incorporates the annotation of speculation cues, scopes, and events.

研究の動機と目的

• スペイン語臨床テキストにおける否定および不確実性の包括的かつ公開可能なコーパスの不足に対処すること。
• 生物医学的スペイン語における否定および予測のラベル付けのための標準化されたアノテーションフレームワークの開発、キュー、スコープ、イベント、極性を含む。
• 深層学習および系列ラベル付けタスクを支援する大規模で高品質なデータセットの作成。
• ニューラル系列ラベル付けモデルを用いた予備実験を通じてコーパスの検証。
• スペイン語における事実性、不確実性、および臨床的推論分野における今後の研究の基盤を提供すること。

提案手法

• 健康記録の匿名化された臨床文29,682件を、詳細な多段階アノテーションスキームを用いて否定および不確実性要因でアノテートすること。
• 4つのコア要素（否定／不確実性のキュー、その意味的スコープ、ターゲットイベント、極性修飾子）を定義し、ラベル付けすること。
• 複数のアノテーター間で一貫性のあるアノテーションガイドラインを適用し、曖昧なケースについては医療専門家の助言を活用すること。
• IULA-SCRCコーパスを、同じガイドラインを用いて不確実性ラベルを追加することでIULA+に拡張すること。
• NUBesデータセット上で深層学習モデル（例：CRF、BERTベースの系列ラベル付け）を訓練・評価し、ベースラインパフォーマンスを確立すること。
• GitHubを通じてコーパス、ガイドライン、コードを公開し、再現可能性およびコミュニティ利用を支援すること。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてスペイン語臨床テキストにおける否定および不確実性を、高い粒度と一貫性をもって体系的にアノテートできるか？
• RQ2 NUBesは、既存のスペイン語コーパスと比較して、相対的にどの程度の規模とカバレッジを有しているか？
• RQ3 深層学習モデルは、NUBesコーパスを用いて系列ラベル付けタスクでどの程度の信頼性のあるパフォーマンスを達成できるか？
• RQ4 「sin clara」や「dar la impresión de」のような曖昧または文脈依存的な表現は、アノテーションガイドラインでどのように処理されるか？
• RQ5 臨床言語において否定と不確実性を区別する際に生じる課題は何か、そしてそれらはどのように解決できるか？

主な発見

• NUBesは、スペイン語臨床テキストにおける否定の分野で、公開可能な最大のコーパスであり、29,682件のアノテート済み文を含む。
• このコーパスは、スペイン語の生物医学的テキストにおいて、予測のキュー、スコープ、イベントを体系的にラベル付けした最初のものである。
• NUBesの文の25.49％が否定を含み、7.48％が不確実性を含むことから、顕著な言語的複雑性が示された。
• 深層学習モデルを用いた予備実験の結果、このコーパスは系列ラベル付けタスクにおける競争力のあるベースラインパフォーマンスをサポートしていることが判明した。
• アノテーションプロセスは、「sin clara」（単一の不確実性キューとして扱われる）や「dar la impresión de」（予測マーカーとして認識される）といった曖昧なケースを効果的に解決した。
• コーパスおよびガイドラインは公開されており、再現可能性および研究コミュニティによる今後の拡張を可能にしている。