[論文レビュー] Clinical Named Entity Recognition using Contextualized Token Representations

Yichao Zhou, Chelsea J.‐T. Ju+7 more|arXiv (Cornell University)|Jun 23, 2021

Topic Modeling参考文献 36被引用数 8

ひとこと要約

本論文は、PubMed Central の臨床症例報告から事前学習された臨床分野特有の文脈的単語埋め込み表現 C-ELMo および C-Flair を提案し、臨床名前付きエンティティ認識（CNER）の性能を向上させる。臨床コーパス上で深層双方向言語モデルを活用することで、静的埋め込み表現よりも最大で10.31%のF1スコア向上を達成し、分野特有の事前学習が微細な臨床エンティティ認識タスクの性能向上に寄与することを示している。

ABSTRACT

The clinical named entity recognition (CNER) task seeks to locate and classify clinical terminologies into predefined categories, such as diagnostic procedure, disease disorder, severity, medication, medication dosage, and sign symptom. CNER facilitates the study of side-effect on medications including identification of novel phenomena and human-focused information extraction. Existing approaches in extracting the entities of interests focus on using static word embeddings to represent each word. However, one word can have different interpretations that depend on the context of the sentences. Evidently, static word embeddings are insufficient to integrate the diverse interpretation of a word. To overcome this challenge, the technique of contextualized word embedding has been introduced to better capture the semantic meaning of each word based on its context. Two of these language models, ELMo and Flair, have been widely used in the field of Natural Language Processing to generate the contextualized word embeddings on domain-generic documents. However, these embeddings are usually too general to capture the proximity among vocabularies of specific domains. To facilitate various downstream applications using clinical case reports (CCRs), we pre-train two deep contextualized language models, Clinical Embeddings from Language Model (C-ELMo) and Clinical Contextual String Embeddings (C-Flair) using the clinical-related corpus from the PubMed Central. Explicit experiments show that our models gain dramatic improvements compared to both static word embeddings and domain-generic language models.

研究の動機と目的

• 臨床用語の意味が文脈に依存することを捉えることが難しい静的単語埋め込み表現の限界を解消すること。
• 分野特有の臨床テキスト上で文脈的埋め込み表現を事前学習することで、臨床名前付きエンティティ認識（CNER）の性能を向上させること。
• 分野特有の事前学習が、一般ドメインの事前学習に比べて臨床 NLP タスクで優れた性能を発揮するかどうかを評価すること。
• 臨床エンティティ認識において、単語レベル（C-ELMo）と文字レベル（C-Flair）の文脈的埋め込み表現の有効性を比較すること。
• 臨床症例報告分析に特化した、公開可能な高精度な文脈的埋め込み表現を提供すること。

提案手法

• PubMed Central の大規模な臨床コーパスを用いて、C-ELMo および C-Flair という2つの深層文脈的言語モデルを事前学習する。
• C-ELMo は、サブワードおよび単語レベルの表現から得られる双方向言語モデル（biLM）を用いて、単語レベルの文脈的埋め込み表現を生成する。
• C-Flair は、文字レベルの双方向LSTMを用いて、文脈的単語埋め込み表現を生成し、希少語や未知語の処理に優れた性能を発揮する。
• 複数のデータセットで臨床エンティティ認識を実行するため、順序ラベル付けフレームワーク（例：CRF）において、文脈的埋め込み表現を微調整する。
• GloVe 埋め込み表現と連結することで、表現の豊かさを向上させる。
• MACCROBAT2018、i2b2-2010、NCBI-disease の3つのベンチマーク CNER データセットで、標準的な指標（精度、再現率、F1スコア）を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 分野特有の臨床コーパス上で文脈的埋め込み表現を事前学習することで、一般ドメインの事前学習に比べて CNER の性能が向上するか？
• RQ2 単語レベル（C-ELMo）と文字レベル（C-Flair）の文脈的埋め込み表現は、多様な臨床エンティティタイプの認識において、どのように比較されるか？
• RQ3 文脈的埋め込み表現は、静的単語埋め込み表現（例：GloVe）に比べて、臨床エンティティ認識タスクでどの程度優れているか？
• RQ4 高品質で分野特有の文脈的埋め込み表現を用いることで、軽量な下流モデルが最先端の性能を達成できるか？
• RQ5 特定のエンティティタイプ（例：投与量、重症度）が C-ELMo と C-Flair の間で異なる性能を示す理由は何か？

主な発見

• C-ELMo および C-Flair は、それぞれ MACCROBAT2018、i2b2-2010、NCBI-disease データセットで、静的 GloVe 埋め込み表現よりも F1 スコアを 10.31%、7.50%、6.94% 向上させた。
• GloVe と C-ELMo を組み合わせたモデルは MACCROBAT2018 および NCBI-disease で最高の F1 スコアを達成したが、GloVe と C-Flair を組み合わせたモデルは i2b2-2010 で最も優れた性能を示した。
• 分野特有の臨床コーパス上で事前学習を行うことで、一般ドメインの言語モデルを用いた場合よりも高い性能が得られ、埋め込み学習における分野特有の知識の価値を裏付けた。
• C-Flair は『投与量』エンティティタイプで優れた性能を示した。これは、数値や記号形式（例：'60 mg/m2'）を文字レベルでモデル化できているためと考えられる。
• C-ELMo は『重症度』および『詳細記述』タイプで C-Flair を上回った。これは、複雑な修飾語の意味的文脈をよりよく捉えられていたためである。
• NCBI-disease では BioBERT が優れた性能を示したが、MACCROBAT2018 および i2b2-2010 では提案手法が優れた性能を示した。これは、リソース効率的で分野特化したモデルが、大規模で汎用的なモデルよりも効果的である可能性を示唆している。