[論文レビュー] Training without training data: Improving the generalizability of automated medical abbreviation disambiguation

Marta Skreta, Aryan Arbabi+2 more|arXiv (Cornell University)|Dec 12, 2019

Biomedical Text Mining and Ontologies参考文献 8被引用数 5

ひとこと要約

本稿では、医療用語のオントロジー（UMLS）とグローバル文脈モデリングを用いたデータ拡張技術を提案し、高価なラベル付き学習データに依存せずに医療用語の省略語の意味解消を向上させることを目的としている。関連する医療概念と文書レベルの文脈を統合することで、CASIでは14%、i2b2では4%の精度向上を達成し、人的アノテーションを最小限に抑えて、複数のデータセットにわたる一般化性能が著しく向上した。

ABSTRACT

Abbreviation disambiguation is important for automated clinical note processing due to the frequent use of abbreviations in clinical settings. Current models for automated abbreviation disambiguation are restricted by the scarcity and imbalance of labeled training data, decreasing their generalizability to orthogonal sources. In this work we propose a novel data augmentation technique that utilizes information from related medical concepts, which improves our model's ability to generalize. Furthermore, we show that incorporating the global context information within the whole medical note (in addition to the traditional local context window), can significantly improve the model's representation for abbreviations. We train our model on a public dataset (MIMIC III) and test its performance on datasets from different sources (CASI, i2b2). Together, these two techniques boost the accuracy of abbreviation disambiguation by almost 14% on the CASI dataset and 4% on i2b2.

研究の動機と目的

• 医療用語の省略語の意味解消におけるラベル付き学習データの不足と不均衡を解決すること。
• 手作業でアノテートされたコーパスに依存しないようにすることで、異なる臨床データセット間でのモデルの一般化能力を向上させること。
• UMLSからの事前医療知識の統合により、まれなまたは未確認の省略語の表現を強化すること。
• 局所的文脈ウィンドウに加えて、グローバル文書レベルの文脈が意味解消性能に与える影響を調査すること。
• 数千の省略語を含む実世界の臨床テキストに適用可能なスケーラブルでアノテーションフリーの手法を開発すること。

提案手法

• UMLSを活用して、まれなまたは頻度の低い省略語の学習データに、関連する医療概念を同定・統合する。
• 逆置換（RS）を適用して、非構造化臨床ノートから合成学習例を生成し、正式表記をラベルとして使用する。
• リプレースメント付きのサンプリング戦略と概念拡張を実装し、クラス分布のバランスを保ち、低頻度の展開形の表現を向上させる。
• 局所的ウィンドウ文脈に加え、グローバル文書レベルの文脈を組み合わせることで、文脈モデリングを拡張し、埋め込み表現を豊かにする。
• MIMIC-IIIデータ上で深層学習モデルを学習し、独立したデータセット（CASI、i2b2）で評価することで一般化性能を評価する。
• 文書コレクションからのTF-IDF加重語を用いて文脈表現を情報化し、省略語のトピックに配慮した埋め込みを向上させる。

実験結果

リサーチクエスチョン

• RQ1 UMLSのようなバイオメディカルオントロジーは、データ拡張による意味解消モデルにおいて、まれなまたは未確認の医療省略語の表現を向上させることができるか？
• RQ2 局所的文脈のみと比較して、グローバル文書レベルの文脈を統合することで、意味解消性能が顕著に向上するか？
• RQ3 MIMIC-IIIで学習したモデルが、追加のラベル付きデータなしに、関連性のないデータセット（CASI、i2b2）に一般化できる程度はどの程度か？
• RQ4 UMLSによる概念レベルの拡張は、逆置換による合成学習データのバランスと品質にどのように影響するか？
• RQ5 完全に自動化され、アノテーションなしの手法が、CASI や i2b2 などのベンチマークデータセットで顕著な性能向上を達成できるか？

主な発見

• 提案手法は、ベースライン制御モデルと比較して、CASIデータセットでマクロ精度が14%絶対値上昇し、62.1%から76.0%に向上した。
• i2b2データセットでは、マクロ精度が4%向上（68.9%から72.9%）し、異なるデータセットへの一般化性能が強く示された。
• 学習コーパスに低頻度または存在しない展開形を有する省略語、例えば「na」（Narcotics Anonymous）において、75%の向上を示した。
• グローバル文脈の統合により、CASIでは3.1ポイント、i2b2では4.0ポイントの性能向上が確認され、表現学習における価値が裏付けられた。
• Full + globalモデルは、CASIにおいて制御モデル（p < 5e-7）およびFullモデル（p = 6e-11）を有意に上回り、ウィルコクソン符号順位検定により統計的有意性が確認された。
• 本手法は、手作業によるラベル付けを必要とせず、i2b2の403省略語テストセットを用いて数千の省略語へもスケーラブルに拡張可能であることが実証された。