[論文レビュー] Label-aware Double Transfer Learning for Cross-Specialty Medical Named Entity Recognition

Zhenghui Wang, Yanru Qu+8 more|arXiv (Cornell University)|Apr 24, 2018

Topic Modeling被引用数 5

ひとこと要約

本稿では、ラベルに配慮した最大平均差分（La-MMD）を用いた特徴表現の転送と、CRFパラメータのラベルに配慮したパrameter転送（KL発散の上界を用いる）を組み合わせた、クロス専科医療命名エンティティ認識のための新規フレームワークであるLabel-aware Double Transfer Learning（La-DTL）を提案する。12のクロス専科医療NERタスクにおいて、最先端のベースラインを上回る一貫したF1スコアの向上（2.62%～6.70%）を達成しており、リソースが限られた環境下でも強力な汎化性能と頑健性を示している。

ABSTRACT

We study the problem of named entity recognition (NER) from electronic medical records, which is one of the most fundamental and critical problems for medical text mining. Medical records which are written by clinicians from different specialties usually contain quite different terminologies and writing styles. The difference of specialties and the cost of human annotation makes it particularly difficult to train a universal medical NER system. In this paper, we propose a label-aware double transfer learning framework (La-DTL) for cross-specialty NER, so that a medical NER system designed for one specialty could be conveniently applied to another one with minimal annotation efforts. The transferability is guaranteed by two components: (i) we propose label-aware MMD for feature representation transfer, and (ii) we perform parameter transfer with a theoretical upper bound which is also label aware. We conduct extensive experiments on 12 cross-specialty NER tasks. The experimental results demonstrate that La-DTL provides consistent accuracy improvement over strong baselines. Besides, the promising experimental results on non-medical NER scenarios indicate that La-DTL is potential to be seamlessly adapted to a wide range of NER tasks.

研究の動機と目的

• 多様な臨床専科にわたる高精度な医療NERシステムを、限られたアノテーションデータで構築する課題に対処すること。
• ソース専科からターゲット専科へ知識を転送することで、アノテーションコストの低減とデータ共有の障壁の克服を図ること。
• 特徴とパrameterの転送の過程でラベル対応を明示的に考慮する転移学習フレームワークの開発。
• 本フレームワークが医療NERを越えて非医療NERタスクへも汎化可能であることを示すこと。

提案手法

• ラベルに配慮したMMD（La-MMD）を提案し、トークンレベルの特徴表現におけるドメイン差を最小化するとともに、ソースドメインとターゲットドメイン間のラベル固有の整合性を維持する。
• CRFモデルの発生行列と遷移行列の間のKL発散の上界を用いて、ラベルに配慮したパrameter転送機構を導入する。
• 専科間で共通のBi-LSTMエンコーダーを有する二重ストリームアーキテクチャを採用し、連携されたシーケンス表現学習を実現する。
• 特徴転送とパrameter転送の目的関数を統合的に最適化することで、ソースからターゲット専科への有効な知識蒸留を可能にする。
• 超パrameterチューニングにより、$α$、$β$、$ε$ を用いてソースドメインとターゲットドメインの学習目的関数のトレードオフを制御する。
• 特徴転送およびパrameter転送の両コンponentがラベルに配慮しているため、ラベルセットが不一致であっても転移学習が可能である。

実験結果

リサーチクエスチョン

• RQ1 ラベルに配慮した転移学習は、人為的アノテーションを最小限に抑えながら、クロス専科医療NERの性能を顕著に向上させることができるか？
• RQ2 La-MMDを用いたラベルに配慮した特徴表現転送は、標準的なMMDと比較して、医療テキストにおけるドメインシフトをどれほど効果的に低減できるか？
• RQ3 KL発散の上界を用いたラベルに配慮したパrameter転送は、専科間でのモデルの汎化性能をどの程度向上させるか？
• RQ4 提案されたLa-DTLフレームワークは、ラベルセットや言語が不一致する非医療NERタスクに対しても効果的に適用可能か？

主な発見

• La-DTLは、12のクロス専科医療NERタスクにおいて、強力なベースラインを上回る一貫したF1スコアの向上（2.62%～6.70%）を達成した。
• 特にリソースが限られた状況（例：10%の訓練データ）において、ジョイントトレーニングや非転移ベースラインを上回り、データ不足に対する頑健性を示した。
• WeiboNER転移（中国語SNS）では、La-DTLが57.74%のF1を達成し、ドメインマスク法やCD学習法を含むすべての先行ベースラインを上回った。
• TwitterNER転移（英語SNS）では、La-DTLが45.71%のF1を達成し、ジョイントトレーニング（43.24%）を上回り、クロス言語的かつラベル不一致状況でも有効性を示した。
• 超パrameter分析から、$\alpha \in [0.01, 0.04]$、$\beta \in [0.03, 0.12]$、$\varepsilon \in [0.3, 0.4]$ の範囲で最適な性能が得られ、ソースドメインとターゲットドメインの学習のバランスが重要であることが示された。
• フレームワークは強力な収束性と安定性を示し、低データ設定において10回のランダムシードでジョイントトレーニングを著しく上回った。