[論文レビュー] Integrating Dictionary Feature into A Deep Learning Model for Disease Named Entity Recognition

Hamada Nayel, Shashrekha H. L|arXiv (Cornell University)|Nov 4, 2019

Topic Modeling被引用数 5

ひとこと要約

この論文は、事前学習された単語埋め込み、文字レベル埋め込み、辞書情報、およびグローバルスコアリングを備えたCRFを統合した深層学習モデルを提案し、疾患名エンティティ認識（Disease-NER）に適用している。このモデルは、NCBIおよびBC5CDRデータセットにおいて最先端の性能を達成し、それぞれ85.40%および79.62%のF1スコアを記録しており、構造的言語特徴と系列ラベル付け最適化を活用することで、先行手法を上回っている。

ABSTRACT

In recent years, Deep Learning (DL) models are becoming important due to their demonstrated success at overcoming complex learning problems. DL models have been applied effectively for different Natural Language Processing (NLP) tasks such as part-of-Speech (PoS) tagging and Machine Translation (MT). Disease Named Entity Recognition (Disease-NER) is a crucial task which aims at extracting disease Named Entities (NEs) from text. In this paper, a DL model for Disease-NER using dictionary information is proposed and evaluated on National Center for Biotechnology Information (NCBI) disease corpus and BC5CDR dataset. Word embeddings trained over general domain texts as well as biomedical texts have been used to represent input to the proposed model. This study also compares two different Segment Representation (SR) schemes, namely IOB2 and IOBES for Disease-NER. The results illustrate that using dictionary information, pre-trained word embeddings, character embeddings and CRF with global score improves the performance of Disease-NER system.

研究の動機と目的

• 外部の辞書知識を深層学習フレームワークに統合することで、疾患名エンティティ認識（Disease-NER）の性能を向上させること。
• 文字レベル埋め込みと事前学習された単語埋め込みがDisease-NER性能に与える影響を評価すること。
• 生物医学的名前付きエンティティ認識の文脈において、IOB2とIOBESの系列ラベル付け方式の有効性を比較すること。
• Disease-NERの系列デコードにおいて、グローバルスコアリングとローカルスコアリングを用いたCRFの貢献度を評価すること。
• 複数の信号源—語彙的、綴り的、辞書ベースのもの—を組み合わせることで、複雑な生物医学的テキストにおける認識精度が向上することを示すこと。

提案手法

• モデルは、語彙的および文字レベルの埋め込みを処理するため、双方向LSTMアーキテクチャを採用しており、形態論的および句構造的パターンを捉えている。
• 一般および生物医学的コーパスで事前学習された単語埋め込みが、入力表現として使用され、ランダム初期化された埋め込みよりも意味的汎化性能が向上している。
• 文字レベル埋め込みは別個の双方向LSTMによって学習され、希少語やOOV（語彙外）疾患用語に重要なサブワード情報を捉えている。
• 辞書情報は特徴ベクトルとして統合され、既知の疾患エンティティの認識を支援し、同義語や略語による曖昧さを低減している。
• 条件付き確率場（CRF）を用い、グローバルスコアリングによるデコードを実施することで、ラベルの依存関係をモデル化し、系列レベルの予測精度を向上させている。
• IOB2とIOBESの2つの系列ラベル付け方式を評価し、エンティティ境界検出と全体のF1スコアに与える影響を検証している。

実験結果

リサーチクエスチョン

• RQ1 辞書情報の統合は、Disease-NERにおける深層学習モデルの性能にどのように影響するか？
• RQ2 多語彙的および希少疾患エンティティの認識において、文字レベル埋め込みが語彙レベル埋め込みに対して果たす相対的貢献は何か？
• RQ3 生物医学的ドメインにおいて、事前学習された単語埋め込みはランダム初期化された埋め込みよりも優れた性能を示すか？
• RQ4 Disease-NERタスクにおける系列ラベル付けにおいて、グローバルスコアリングを用いたCRFはローカルスコアリングを上回るか？
• RQ5 NCBIおよびBC5CDRデータセットにおいて、IOB2とIOBESのどちらの系列ラベル付け方式がより優れた性能を示すか？

主な発見

• 辞書情報の統合によりDisease-NER性能が顕著に向上し、NCBIデータセットでは最高のF1スコア85.40%を記録した。
• 文字埋め込みは性能に顕著な貢献を示し、それらを含まないモデルと比較してF1スコアが10%以上向上した。
• 事前学習された単語埋め込みはランダム初期化された埋め込みを上回り、大規模な生物医学的および一般テキストでの事前学習の価値を示している。
• グローバルスコアリングによるCRFデコードはローカルスコアリングを上回り、他の特徴と組み合わせた際特に顕著な向上を示した。
• BC5CDRデータセットではIOBES方式がIOB2方式を1.13ポイント上回り、エンティティ境界の取り扱いが優れていることが示された。
• 提案手法は、NCBI（85.40% F1）およびBC5CDR（79.62% F1）の両データセットで最先端の性能を達成しており、CNNベースやアンサンブルモデルを含む先行手法を上回った。