[論文レビュー] KG-MTT-BERT: Knowledge Graph Enhanced BERT for Multi-Type Medical Text Classification

Yong He, Cheng Wang+4 more|arXiv (Cornell University)|Oct 8, 2022

Topic Modeling被引用数 13

ひとこと要約

KG-MTT-BERTは、診断関連群（DRG）予測を目的とした、知識グラフを補完するBERTモデルを提案する。異なる臨床テキストタイプ（例：診断、手術、入院経過）に共通のBERTエンコーダーを適用し、トークンレベルの符号化とグローバルマックスプーリングを用い、医療知識グラフを統合することで、DRG分類において91.79%の正確性と93.10%のAUCを達成し、ベースラインモデルを著しく上回る最先端の性能を発揮した。

ABSTRACT

Medical text learning has recently emerged as a promising area to improve healthcare due to the wide adoption of electronic health record (EHR) systems. The complexity of the medical text such as diverse length, mixed text types, and full of medical jargon, poses a great challenge for developing effective deep learning models. BERT has presented state-of-the-art results in many NLP tasks, such as text classification and question answering. However, the standalone BERT model cannot deal with the complexity of the medical text, especially the lengthy clinical notes. Herein, we develop a new model called KG-MTT-BERT (Knowledge Graph Enhanced Multi-Type Text BERT) by extending the BERT model for long and multi-type text with the integration of the medical knowledge graph. Our model can outperform all baselines and other state-of-the-art models in diagnosis-related group (DRG) classification, which requires comprehensive medical text for accurate classification. We also demonstrated that our model can effectively handle multi-type text and the integration of medical knowledge graph can significantly improve the performance.

研究の動機と目的

• 電子歴史記録（EHR）から得られる多様なタイプ、長大で専門用語が豊富な医療テキストを診断関連群（DRG）に分類する課題に対処すること。
• BERTが長大な臨床ノート、多様なテキストタイプ、ドメイン固有の医学用語を処理する際の限界を克服すること。
• BERTベースのアーキテクチャに医療知識グラフを統合することで、DRG分類の性能を向上させること。
• ドメイン知識と異種の臨床テキスト入力を効果的に符号化・統合する統合型モデルを開発すること。

提案手法

• 診断、手術、入院経過など、臨床テキストの各タイプに共通のBERTエンコーダーを別々に適用し、入力モodalitiyの特異性を保持する。
• テキストレベルの符号化ではなく、トークンレベルの符号化を用いることで、微細な意味的表現を捉え、F1スコアで1.6%以上向上させる。
• トークン表現全体に対してグローバルマックスプーリングを適用し、DRG割り当てに重要な顕著な医学用語を強調する。
• 医療知識グラフを統合して、モデルにドメイン固有の知識を注入し、医学用語および関係性の理解を向上させる。
• 異なるテキストタイプからのプール済み表現を統合して1つの表現行列にし、分類に用いる。
• 最終的な分類層を用いてDRGカテゴリを予測し、クロスエントロピー損失を用いてエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 長さや意味的タイプが異なるEHRの多様な医療テキストを、BERTベースのモデルがDRGカテゴリに効果的に分類できるか？
• RQ2 DRG分類に必要な医療情報の抽出において、トークンレベルの符号化はテキストレベルの符号化を上回るか？
• RQ3 医療知識グラフの統合が、BERTの臨床テキスト分類タスクにおける性能に与える影響は何か？
• RQ4 グローバルマックスプーリング、平均プーリング、アテンションベースのプーリングのうち、どの戦略が異種の臨床テキスト表現をDRG予測に最適に要約するか？
• RQ5 ドメイン固有の知識を組み込むことで、医療テキスト分類における一般化性能と正確性はどの程度向上するか？

主な発見

• KG-MTT-BERTはDRG-Aデータセットで91.79%の正確性、89.61%のF1スコア、93.10%のAUCを達成し、すべてのベースラインおよび最先端モデルを著しく上回った。
• トークンレベルの符号化は、テキストレベルの符号化と比較してF1スコアで1.6ポイント以上向上させ、微細な表現の利点を示した。
• グローバルマックスプーリングは、すべてのプーリング戦略の中で最高の性能を示し、AUCが0.8741に達し、平均プーリングやアテンションベースのプーリングを上回った。
• 医療知識グラフの統合により、正確性が4.76ポイント（87.03%から91.79%）上昇し、AUCも5.69ポイント上昇した。これにより、ドメイン適応における知識グラフの重要性が裏付けられた。
• アブレーションスタディの結果、知識グラフとトークンレベルの符号化が最も影響力が大きく、知識グラフが最も大きな性能向上をもたらした。
• アテンションメカニズムを介して、臨床的に重要な用語（例：'stoma'、'anorectal'）を効果的に特定でき、解釈可能性を支援した。