[論文レビュー] Learning Conceptual-Contextual Embeddings for Medical Text

Xiao Zhang, Dejing Dou+1 more|arXiv (Cornell University)|Aug 16, 2019

Topic Modeling参考文献 41被引用数 4

ひとこと要約

本稿では、医療知識グラフからの構造的知識を、多層双向LSTMエンコーダーを用いてニューラルテキスト表現に統合する、概念的文脈的（CC）埋め込みを提案する。UMLS知識ベースで訓練されたCC埋め込みは、電子健康記録（EHR）における再入院および死亡予測、医療自然言語推論などの医療NLPタスクで、強力なベースラインおよび最先端モデルを上回る性能を示した。

ABSTRACT

External knowledge is often useful for natural language understanding tasks. We introduce a contextual text representation model called Conceptual-Contextual (CC) embeddings, which incorporates structured knowledge into text representations. Unlike entity embedding methods, our approach encodes a knowledge graph into a context model. CC embeddings can be easily reused for a wide range of tasks just like pre-trained language models. Our model effectively encodes the huge UMLS database by leveraging semantic generalizability. Experiments on electronic health records (EHRs) and medical text processing benchmarks showed our model gives a major boost to the performance of supervised medical NLP tasks.

研究の動機と目的

• 神経的テキスト表現モデルに構造的医療知識を統合することで、NLPパフォーマンスを向上させるという課題に対処すること。
• 知識グラフの関係を直接文脈的埋め込みにエンコードする手法を開発し、テキストとエンティティ表現の間のアライメント問題を回避すること。
• タスク固有の再訓練なしに、多様な医療NLPタスクに一般化可能な再利用可能な概念認識表現を可能にすること。
• CC埋め込みの有効性を、EHRや臨床推論ベンチマークを含む実世界の医療テキスト上で検証すること。
• 医療分野における知識グラフ埋め込みと事前学習済み文脈的言語モデルの間のギャップを埋めること。

提案手法

• CC埋め込みモデルは、テキスト内の概念表記の文脈的表現を生成する多層双向LSTMエンコーダーを用いる。
• モデルは知識グラフ埋め込みの目的関数で訓練され、近似的な平行移動関係（例：Encode('コルチゾン') + may_prevent ≈ Encode('リウマチ性関節炎')）を満たす概念表現を学習する。
• テキスト内の概念表記は、訓練済みエンコーダーで符号化され、トレーニング中にUMLS知識ベースからの構造的知識が吸収される。
• モデルは、医療概念およびその関係を認識・符号化できるように、大規模な医療テキストコーパスで事前学習される。
• 事前学習後、モデルは下流タスクの微調整が可能であるか、プーリングおよび線形層を介して特徴抽出器として使用できる。
• 本手法は、言語から推論可能な知識と非言語的推論可能な知識の区別をし、知識ベースのテキスト記述から意味的関係を捉えることに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 知識グラフからの構造的医療知識が、文脈的テキスト表現に効果的に統合可能か。
• RQ2 言語的推論可能な知識に特化したテキスト表現モデルは、BERT や LSTM などの標準的な文脈的モデルを上回るか。
• RQ3 概念認識埋め込みは、EHRにおけるICU再入院および死亡予測などの下流タスクをどれほど改善できるか。
• RQ4 CC埋め込みは、標準モデルと比較して医療自然言語推論タスクのパフォーマンスを向上できるか。
• RQ5 ブランド名関係などの言語的推論不能な知識は、純粋に言語的関係と比較して、モデルがどのように処理するか。

主な発見

• CC-LSTMモデルは、30日以内の退院後死亡予測でAUC 0.839を達成し、標準LSTMベースライン（0.823）を上回り、追加の臨床データを用いた最先端手法をも凌駆した。
• 30日以内の再入院予測において、CCモデルはベースラインLSTMを上回り、テキストのみの退院要約を使用しているにもかかわらず、最先端モデルと同等またはそれを上回った。
• MedNLIベンチマークでは、CC-ESIMモデルが75.2％のテスト精度を達成し、ベースラインESIMモデル（71.3％）を顕著に上回り、推論タスクにおける外部知識の利点を示した。
• すべてのタスクにおけるパフォーマンス向上は、CC埋め込みが文脈的表現に構造的医療知識を効果的に統合し、一般化能力と耐性を高めていることを示している。
• モデルが言語的推論可能および非言語的推論可能な両方の知識を符号化できる能力は、医療KBのテキスト記述から多様な意味的関係を捉えていることを示唆している。
• 結果は、文脈に配慮したエンコーダーによる知識グラフ統合が、特にリソースが限られたまたは知識集約型のNLPシナリオにおいて、効果的でスケーラブルであることを裏付けた。