[論文レビュー] Interpretable Medical Diagnostics with Structured Data Extraction by Large Language Models

Aleksa Bisercic, Mladen Nikolić+4 more|arXiv (Cornell University)|Jun 8, 2023

Topic Modeling被引用数 7

ひとこと要約

本論文では、ドメイン固有の推論ガイドラインと検証・是正のフィードバックループを用いて、非構造化医療レポートから構造化された表形式データを大規模言語モデル（LLMs）を活用して抽出する新規手法TEMED-LLMを提案する。この手法は、最先端のテキスト分類器よりも優れた診断性能を達成するとともに、決定木やロジスティック回帰などの表形式機械学習モデルを用いることで予測の解釈可能性を実現する。

ABSTRACT

Tabular data is often hidden in text, particularly in medical diagnostic reports. Traditional machine learning (ML) models designed to work with tabular data, cannot effectively process information in such form. On the other hand, large language models (LLMs) which excel at textual tasks, are probably not the best tool for modeling tabular data. Therefore, we propose a novel, simple, and effective methodology for extracting structured tabular data from textual medical reports, called TEMED-LLM. Drawing upon the reasoning capabilities of LLMs, TEMED-LLM goes beyond traditional extraction techniques, accurately inferring tabular features, even when their names are not explicitly mentioned in the text. This is achieved by combining domain-specific reasoning guidelines with a proposed data validation and reasoning correction feedback loop. By applying interpretable ML models such as decision trees and logistic regression over the extracted and validated data, we obtain end-to-end interpretable predictions. We demonstrate that our approach significantly outperforms state-of-the-art text classification models in medical diagnostics. Given its predictive performance, simplicity, and interpretability, TEMED-LLM underscores the potential of leveraging LLMs to improve the performance and trustworthiness of ML models in medical applications.

研究の動機と目的

• 非構造化医療レポート（臨床ノートや診断要約を含む）から構造化された表形式特徴量を抽出する課題に対処すること。
• 従来のテキストベースの機械学習モデルが、曖昧で文脈依存的かつ専門用語が豊富な医療言語を処理する際の限界を克服すること。
• LLMの推論とデータ検証を統合することで、抽出精度と信頼性を向上させる手法を開発すること。
• LLMで抽出したデータに解釈可能な表形式モデルを適用することで、エンドツーエンドの解釈可能な医療診断を実現すること。
• LLMベースのデータ抽出が、医療診断タスクにおいて最先端のテキスト分類モデルを上回ることを実証すること。

提案手法

• TEMED-LLMは、事前に定義された特徴スキーマに基づいて、テキスト形式の医療レポートから表形式特徴量を大規模言語モデル（LLMs）を用いて抽出する。
• 特徴名が明示的に記載されていない場合でも、特徴を推論できるよう、ドメイン固有の推論ガイドラインをLLMsに組み込む。
• 抽出品質の反復的向上と不整合の検出を目的とした、革新的なデータ検証および推論是正フィードバックループを導入する。
• 抽出された表形式データは、解釈可能な機械学習モデル（決定木やロジスティック回帰など）で処理され、透明性の高い人間が読みやすい予測が可能になる。
• LLMを用いた構造化データ抽出と古典的表形式機械学習モデルの統合により、高い性能と解釈可能性の両立を実現する。
• テキスト分類器および表形式モデルのハイパーパrameterはグリッドサーチにより最適化され、標準的な自然言語処理および機械学習ライブラリを用いてモデルが学習された。

実験結果

リサーチクエスチョン

• RQ1 LLMは、特徴名が明示的に記載されていない場合でも、非構造化医療レポートから構造化された表形式特徴量を効果的に抽出できるか？
• RQ2 推論ガイドラインとフィードバックループの統合により、臨床テキストからの表形式データ抽出の精度と信頼性が顕著に向上するか？
• RQ3 LLMベースの抽出手法は、医療診断タスクにおいて最先端のテキスト分類モデルと比較して、どのように性能を発揮するか？
• RQ4 LLMで抽出したデータに解釈可能な表形式モデルを適用することで、モデルの透明性と臨床的信頼性はどの程度向上するか？
• RQ5 提案手法は、多様な医療診断タスクおよび実世界の電子的健康記録（EHR）に一般化可能か？

主な発見

• TEMED-LLMは、BioBERT、RoBERTa、XLM-RoBERTaを含む複数の最先端テキスト分類モデルを、複数の医療診断タスクで顕著に上回った。
• ドメイン固有の推論ガイドラインと検証・是正のフィードバックループの活用により、抽出品質が向上し、特徴名が明示的に記載されていない場合でも正確な特徴推論が可能になった。
• LLMで抽出したデータに学習した決定木は、正解の表形式データに学習した場合と同等の性能を示した（図3参照）ことから、抽出プロセスの高い忠実性が裏付けられた。
• 抽出データにロジスティック回帰およびXGBoostモデルを適用した結果、明確な特徴重要度が得られ、臨床的信頼性とモデルの透明性が向上した。
• 本手法は、公的データセットおよび臨床医から収集した実際の電子的健康記録（EHR）の両方で優れた性能を示し、実用応用可能性が確認された。
• LLMベースの抽出と解釈可能な表形式モデリングを統合したエンドツーエンドパイプラインは、高い予測性能を維持しながらもモデルの解釈可能性を保った。これは、ブラックボックスNLPモデルとは対照的で、大きな利点である。