[論文レビュー] DKEC: Domain Knowledge Enhanced Multi-Label Classification for Diagnosis Prediction

Xueren Ge, Abhishek, Satpathy+3 more|arXiv (Cornell University)|Oct 10, 2023

Text and Document Classification Technologies被引用数 4

ひとこと要約

DKECは、医療診断予測のためのドメイン知識を強化したマルチラベルテキスト分類フレームワークを提案する。同フレームワークは、ラベルごとのアテンションメカニズムとグループごとの学習戦略を用いて、異種の医療エンティティ関係を統合し、レア（テール）クラスのパフォーマンスを向上させる。SOTAの結果を達成し、特にフェイシュットラベルにおいて顕著な向上を示し、小規模言語モデルが大規模モデルと同等の性能を達成可能にする。

ABSTRACT

Multi-label text classification (MLTC) tasks in the medical domain often face the long-tail label distribution problem. Prior works have explored hierarchical label structures to find relevant information for few-shot classes, but mostly neglected to incorporate external knowledge from medical guidelines. This paper presents DKEC, Domain Knowledge Enhanced Classification for diagnosis prediction with two innovations: (1) automated construction of heterogeneous knowledge graphs from external sources to capture semantic relations among diverse medical entities, (2) incorporating the heterogeneous knowledge graphs in few-shot classification using a label-wise attention mechanism. We construct DKEC using three online medical knowledge sources and evaluate it on a real-world Emergency Medical Services (EMS) dataset and a public electronic health record (EHR) dataset. Results show that DKEC outperforms the state-of-the-art label-wise attention networks and transformer models of different sizes, particularly for the few-shot classes. More importantly, it helps the smaller language models achieve comparable performance to large language models.

研究の動機と目的

• レアな診断に十分なトレーニングサンプルが不足する医療マルチラベルテキスト分類におけるロングテイルラベル分布問題に対処すること。
• 神経ネットワークモデルに医療ガイドラインから得られる構造化されたドメイン知識を統合し、リソースが限られたラベルの表現学習を向上させること。
• 小規模言語モデルの性能を向上させ、診断予測タスクにおいて大規模言語モデルと同等の性能を達成できるようにすること。
• 従来のオントロジーを超えて、症状、薬剤、プロトコルなどの異種の医療エンティティ関係を統合する汎用性の高いフレームワークを構築すること。
• 多様な言語モデルおよび実世界のEHRおよびePCRデータセットを用いて、手法の有効性を評価すること。

提案手法

• 医療ガイドラインから異種の医療エンティティ（例：症状、薬剤、プロトコル）とその異種の関係（例：'治療する'、'示す'）を統合した非同質的グラフを構築する。
• ラベルごとのアテンションメカニズムが非同質的グラフを用いて動的アテンション重みを計算し、各ラベルに対して関連する医療エンティティにモデルの注目を集中させる。
• 非同質的グラフからの埋め込みを用いてラベルを意味的類似度に基づいてグループ化し、関連する診断のクラスタを形成する。
• グループごとの学習が最適化中にラベルグループ全体のバイナリクロスエントロピー損失を計算し、レアクラスの有効なサンプルサイズを拡大する。
• 後処理として論理ルール（例：年齢に基づく区別）を適用し、重複するか曖昧なラベル内の予測を精緻化し、精度を向上させる。
• フレームワークは、TinyClinicalBERT（15Mパラメータ）を含むさまざまな言語モデルと統合され、汎用性と効率性を評価する。

実験結果

リサーチクエスチョン

• RQ1 公式ガイドラインから得られる異種の医療エンティティ関係を統合することで、マルチラベル医療テキスト分類における表現学習が向上するか？
• RQ2 ラベルの意味的類似度に基づくグループごとの学習が、データの不均衡を是正し、レア（テール）クラスのパフォーマンスを向上させるか？
• RQ3 ドメイン知識とグループごとの学習を強化することで、小規模言語モデルが大規模言語モデルと同等の性能を達成できるか？
• RQ4 DKECフレームワークは、さまざまな言語モデルおよび実世界の医療データセットにどれほど汎用性を持つか？
• RQ5 ガイドラインからのドメイン知識統合が、不均衡な医療データセットにおける頻度の高い（ヘッド）ラベルへのバイアスをどれほど低減するか？

主な発見

• RAAデータセットでは、SOTA手法と比較してDKECがマクロF1スコアを8.2%向上させ、32.8%に到達し、特にレア（テール）クラスで最大の向上を示した。
• MIMIC-IIIデータセットでは、DKEC-CombをTinyClinicalBERT（15Mパラメータ）に適用した結果、マクロF1が0.499を記録し、ベースラインのBioMedLM（2.7Bパラメータ）の0.459を上回った。
• MIMIC-IIIにおいて、TinyClinicalBERTにDKEC-Combを適用した結果、マイクロF1が0.516を記録し、ベースラインのGatorTron（325Mパラメータ）の0.523を上回った。これは、優れた汎用性を示している。
• 同じモデル（TinyClinicalBERT）を用いた場合、DKEC-CombはマクロF1が0.234を記録し、ベースラインのBioMedLM（0.248）をわずかに上回った。これは、小規模モデルでも有効であることを示している。
• グループごとの学習と非同質的ラベルごとのアテンションメカニズムが、フェイシュットラーニングを顕著に向上させ、特にリソースが限られた診断において顕著であった。
• この手法により、小規模モデルが大規模言語モデルと同等の性能を達成可能となり、リソース制約のあるデバイスへのデプロイに適している。