[論文レビュー] A Neural Multi-Task Learning Framework to Jointly Model Medical Named Entity Recognition and Normalization

Sendong Zhao, Ting Liu+2 more|arXiv (Cornell University)|Dec 14, 2018

Topic Modeling参考文献 27被引用数 14

ひとこと要約

本稿では、医療固有語認識（MER）と正規化（MEN）を同時に実行するために、明示的なフィードバック機構を備えた新しい深層ニューラルマルチタスク学習フレームワークを提案する。双方向LSTM、文字レベル特徴抽出のためのCNN、およびタスク間の相互フィードバックを統合することで、2つのベンチマークデータセット上で、MERでは最大4.53%、MENでは最大5.61%のF1スコア向上を達成し、最先端の性能を実現した。

ABSTRACT

State-of-the-art studies have demonstrated the superiority of joint modelling over pipeline implementation for medical named entity recognition and normalization due to the mutual benefits between the two processes. To exploit these benefits in a more sophisticated way, we propose a novel deep neural multi-task learning framework with explicit feedback strategies to jointly model recognition and normalization. On one hand, our method benefits from the general representations of both tasks provided by multi-task learning. On the other hand, our method successfully converts hierarchical tasks into a parallel multi-task setting while maintaining the mutual supports between tasks. Both of these aspects improve the model performance. Experimental results demonstrate that our method performs significantly better than state-of-the-art approaches on two publicly available medical literature datasets.

研究の動機と目的

• パイプラインモデルにおける医療固有語認識と正規化の限界、特に誤差の累積と相互利益の活用不足を是正すること。
• 認識と正規化のタスク間で共有表現と相互フィードバックを活用する統合モデリングアプローチの開発。
• 文字レベルおよび意味レベルの特徴を組み込んだ深層ニューラルアーキテクチャを用いて、MERおよびMENの性能向上を図ること。
• 並列マルチタスク学習設計により、認識と正規化の出力における境界不一致を軽減すること。

提案手法

• 認識と正規化を共有された低層表現を持つ並列タスクとしてモデル化するマルチタスク学習アーキテクチャを採用する。
• 医療テキスト内の逐次的依存関係を捉えるために、双方向LSTMを用い、文脈モデリングを強化する。
• 薬剤名（例：'Zolmitriptan' や 'Zomig'）のようなローカルな文字レベル特徴を抽出するために、畳み込みニューラルネットワーク（CNN）を適用する。
• 明示的なフィードバック機構を導入：認識タスクの出力が正規化に影響を与え、逆に正規化の出力が認識にフィードバックされ、双方向の相互支援を実現する。
• PubMedおよび全文アーティクルで事前学習された50次元のWord2Vec埋め込み表現を用い、GloVe や Senna と比較して、これらのタスクで優れた性能を示した。
• シーケンス全体で一貫したタグ付けを保証し、境界不一致を低減するために、共同CRF層を用いる。

実験結果

リサーチクエスチョン

• RQ1 明示的なフィードバック機構を備えた深層ニューラルマルチタスク学習フレームワークは、パイプラインモデルや単純な統合モデルと比較して、医療固有語認識および正規化の性能を向上させることができるか？
• RQ2 CNNによる文字レベル特徴の統合とBi-LSTMによる逐次モデリングが、認識および正規化の精度をどのように向上させるか？
• RQ3 認識と正規化の間の相互フィードバックは、予測されたエンティティスパンにおける境界不一致をどの程度軽減するか？
• RQ4 ドメイン特化の事前学習埋め込み（例：PubMedで学習されたWord2Vec）を用いることで、一般ドメインの埋め込みと比較して医療NLPタスクでより良い性能が得られるか？
• RQ5 特にトレーニング中に登場しなかったが、埋め込み空間内に存在するOoV（未知語）エンティティに対して、モデルはどの程度の性能を示すか？

主な発見

• 提案されたMTL-MEN&MER_feedbackモデルは、BC5CDRおよびNCBI Diseaseコーパスの両方で、最先端の手法と比較して、MERで4.53%の絶対的F1スコア向上、MENで5.61%の向上を達成した。
• ベースラインのBi-LSTM-CNN-CRFモデルと比較して、NCBIコーパスでは境界不一致を78.5%、BC5CDRコーパスでは79.7%低減した。
• PubMedおよび全文アーティクルで学習されたWord2Vec埋め込み表現が、GloVe や Senna と比較して両タスクで最も優れた性能を示した。これは、医療エンティティとの語彙の整合性が良好であるためと推定される。
• モデルは、語彙内（IV）およびトレーニング語彙外（OOTV）エンティティに対して、特に顕著な性能向上を示し、レア語や未知語に対しても高い汎化性能と耐性を示した。
• 誤差解析の結果、モデルはOOBV（両方の語彙外）エンティティに対して顕著に優れた性能を示し、NCBIコーパスではMER F1が4.47%向上、BC5CDRコーパスでは4.08%向上した。これは、事前学習済み埋め込みとフィードバック機構の有効な活用を示している。