[論文レビュー] Revised JNLPBA Corpus: A Revised Version of Biomedical NER Corpus for Relation Extraction Task

Ming-Siang Huang, Po‐Ting Lai+2 more|arXiv (Cornell University)|Jan 29, 2019

Biomedical Text Mining and Ontologies参考文献 46被引用数 19

ひとこと要約

本稿では、バイオメディカル関係抽出（BRE）タスクに特に最適化された、手作業で校正されたバイオメディカル名前付きエンティティ認識（NER）データセット、改訂版JNLPBAコーパスを紹介する。ドメイン専門家の監修のもとで注釈を精錬し、タンパク質、DNA、RNA、細胞株、細胞タイプといった重要なエンティティに焦点を当てたガイドラインを採用することで、3つのシステム（BANNER、Gimli、NERSuite）におけるNER性能が平均で10%向上した。これは、タンパク質-タンパク質相互作用やイベント抽出を含む、下流のBREタスクにおける本コーパスの優れた適合性を示している。

ABSTRACT

The advancement of biomedical named entity recognition (BNER) and biomedical relation extraction (BRE) researches promotes the development of text mining in biological domains. As a cornerstone of BRE, robust BNER system is required to identify the mentioned NEs in plain texts for further relation extraction stage. However, the current BNER corpora, which play important roles in these tasks, paid less attention to achieve the criteria for BRE task. In this study, we present Revised JNLPBA corpus, the revision of JNLPBA corpus, to broaden the applicability of a NER corpus from BNER to BRE task. We preserve the original entity types including protein, DNA, RNA, cell line and cell type while all the abstracts in JNLPBA corpus are manually curated by domain experts again basis on the new annotation guideline focusing on the specific NEs instead of general terms. Simultaneously, several imperfection issues in JNLPBA are pointed out and made up in the new corpus. To compare the adaptability of different NER systems in Revised JNLPBA and JNLPBA corpora, the F1-measure was measured in three open sources NER systems including BANNER, Gimli and NERSuite. In the same circumstance, all the systems perform average 10% better in Revised JNLPBA than in JNLPBA. Moreover, the cross-validation test is carried out which we train the NER systems on JNLPBA/Revised JNLPBA corpora and access the performance in both protein-protein interaction extraction (PPIE) and biomedical event extraction (BEE) corpora to confirm that the newly refined Revised JNLPBA is a competent NER corpus in biomedical relation application. The revised JNLPBA corpus is freely available at iasl-btm.iis.sinica.edu.tw/BNER/Content/Revised_JNLPBA.zip.

研究の動機と目的

• 既存のバイオメディカルNERコーパスが関係抽出タスクを支援する点で抱える制限を是正すること。
• バイオメディカル関係抽出への適用性を高めるために、元のJNLPBAコーパスの注釈品質と一貫性を向上させること。
• 重要なエンティティタイプを維持しつつ、元のデータセットに見られる欠陥を是正する改訂コーパスの開発。
• NERシステムの改訂コーパス上での性能を評価し、元のJNLPBAコーパスと比較すること。
• 改訂コーパスがタンパク質-タンパク質相互作用抽出（PPIE）やバイオイベント抽出（BEE）を含むクロスドメイン関係抽出タスクにおいて実用的であるかを検証すること。

提案手法

• ドメイン専門家が、特定のバイオメディカルエンティティに焦点を当てた新しい注釈ガイドラインを用いて、元のJNLPBAコーパスを再注釈した。
• すべてのアブストラクトが手作業で校正され、エンティティの境界やタイプの正確性が向上した。
• 改訂コーパスは、元のエンティティタイプ（タンパク質、DNA、RNA、細胞株、細胞タイプ）を維持している。
• BANNER、Gimli、NERSuiteのNERシステムを、同一の条件下で元のコーパスおよび改訂コーパス上で訓練および評価した。
• 交差検証実験を実施し、JNLPBAまたは改訂版JNLPBAで学習し、PPIEおよびBEEデータセットでテストすることで、汎用性を評価した。
• F1スコアを用いて性能を測定し、NER品質の向上を定量化した。

実験結果

リサーチクエスチョン

• RQ1 改訂版注釈ガイドラインは、バイオメディカルテキストにおけるNERシステムの性能を向上させるか？
• RQ2 改訂版JNLPBAコーパスは、元のJNLPBAコーパスと比較して、どれほどNER性能を向上させるか？
• RQ3 改訂版JNLPBAコーパスは、下流のバイオメディカル関係抽出タスク用の信頼できるトレーニングリソースとして機能できるか？
• RQ4 改訂コーパスで学習したNERシステムの性能は、PPIEやBEEなどの他の関係抽出ベンチマークにどのように一般化されるか？
• RQ5 元のJNLPBAコーパスに見られた具体的な注釈上の問題は、改訂版でどのように是正されたか？

主な発見

• BANNER、Gimli、NERSuiteの3つのテスト済みNERシステムすべてが、改訂版JNLPBAコーパス上で元のJNLPBAコーパスと比較して平均で10ポイント高いF1スコアを達成した。
• 改訂コーパスは、複雑または曖昧なバイオメディカル用語において、注釈の整合性と正確性が向上していることが明らかになった。
• 交差検証の結果、改訂版JNLPBAコーパスで学習したモデルがPPIEおよびBEEデータセットにさらにうまく一般化することが確認され、関係抽出パイプラインへの適性が裏付けられた。
• 手作業による校正プロセスにより、元のJNLPBAコーパスに知られていた欠陥、例えば一貫性のないエンティティ境界やタイプの誤分類が効果的に是正された。
• 改訂版JNLPBAコーパスは公開されており、バイオメディカルテキストマイニングにおける強固なトレーニングおよび評価を支援することを目的として設計されている。
• 本研究は、高品質でタスク特化型のNERコーパスが、下流の関係抽出性能を顕著に向上させることを確認した。