[論文レビュー] Local Large Language Models for Complex Structured Medical Tasks

Cody Bumgardner, Aaron Mullen+3 more|arXiv (Cornell University)|Aug 3, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、医療病理報告書に処理されたローカルな大規模言語モデル（LLM）を訓練し、構造化された疾患コードを抽出する手法を提案している。実験の結果、LLaMAベースのモデルが、精度を若干落としても、多ラベルで複雑な構造化タスクにおいて、BERTスタイルのモデルを顕著に上回ることを示している。本手法により、アクセス可能なハードウェアを用いた高精度でプライバシーを守る、オンプレミスでのデプロイメントが可能となる。

ABSTRACT

This paper introduces an approach that combines the language reasoning capabilities of large language models (LLMs) with the benefits of local training to tackle complex, domain-specific tasks. Specifically, the authors demonstrate their approach by extracting structured condition codes from pathology reports. The proposed approach utilizes local LLMs, which can be fine-tuned to respond to specific generative instructions and provide structured outputs. The authors collected a dataset of over 150k uncurated surgical pathology reports, containing gross descriptions, final diagnoses, and condition codes. They trained different model architectures, including LLaMA, BERT and LongFormer and evaluated their performance. The results show that the LLaMA-based models significantly outperform BERT-style models across all evaluated metrics, even with extremely reduced precision. The LLaMA models performed especially well with large datasets, demonstrating their ability to handle complex, multi-label tasks. Overall, this work presents an effective approach for utilizing LLMs to perform domain-specific tasks using accessible hardware, with potential applications in the medical domain, where complex data extraction and classification are required.

研究の動機と目的

• 第三者APIに依存せずに、ドメイン特化された構造化出力生成が可能なローカルLLMアプローチの開発。
• ローカルLLM（例：LLaMA）とBERTスタイルのモデルが、未加工の外科的病理報告書から構造化された疾患コードを抽出する際の性能評価。
• データセットサイズ、モデルアーキテクチャ、パラメータ数が、多ラベル医療コードタスクにおける分類性能に与える影響の評価。
• ローカルLLMが、標準的なCPU/GPUハードウェアを用いても、複雑な現実世界の医療データに対して高い精度を達成できることを実証し、クラウドベースのモデルがもたらすプライバシーおよび規制リスクを回避できることの提示。

提案手法

• 15万件を超える未加工の外科的病理報告書（全体像記述、最終診断、疾患コードを含む）のデータセットを用いて、LLaMA、BERT、LongFormer、BioClinicalBERTモデルを微調整。
• 生成指示に従って、特定の構造化出力を生成するようモデルを指示微調整（instruction tuning）した。
• スケーラビリティとデータ複雑性の影響を評価するため、3つのデータセットサイズ（ティニー、スモール、ラージ）で訓練した。
• 全モデルおよび全データセットサイズにおいてF1スコアを用いて性能を評価し、疾患コードの多ラベル分類に焦点を当てた。
• プロンプト工学および入力コンテキストの構造化を活用し、モデルの医療コードルールおよび用語との整合性を向上させた。
• 標準的なハードウェア上にモデルをデプロイした。これにより、高価なGPUを必要としない実現可能性が示された。

実験結果

リサーチクエスチョン

• RQ1 ローカルLLMが医療テキストに微調整された場合、非構造化病理報告書から構造化された疾患コードを抽出する際、BERTスタイルのモデルを上回る性能を示せるか？
• RQ2 データセットサイズが、複雑な多ラベル医療コードタスクにおけるローカルLLMと小規模NLPモデルの性能に与える影響はいかほどか？
• RQ3 ドメイン特化・高複雑度医療データに微調整された場合、モデルアーキテクチャ（例：LLaMA対BERT）が性能に与える影響はどの程度か？
• RQ4 クラウドベースのLLMサービスに依存せず、ローカルLLMが高精度な構造化医療データ抽出を達成できるか。これにより、データプライバシーとコンプライアンスが保証されるか？

主な発見

• LLaMAベースのモデルは、最大データセットでF1スコア0.785を達成し、全データセットサイズで0.02未満のスコアを記録したBERTスタイルのモデルを顕著に上回った。
• LLaMA 13bモデルは、ラージデータセットでF1スコア0.785を達成したが、最高性能を示したBERTモデル（UKPathBERT）はわずか0.018にとどまり、顕著な性能差が確認された。
• BERTおよびLongformerモデルの性能は、最小データセットでピークに達し、データ複雑性の増加に伴い低下した一方、LLaMAモデルはデータセットが大きくなるにつれて性能が向上し、優れたスケーラビリティを示した。
• 入力記述の長さと予測精度との間に有意な相関は認められず、モデルの複雑さと推論能力が入力長の影響を上回ることが示唆された。
• 頻度の高い疾患コードはより正確に予測されたが、LLaMAモデルは希少コードに対しても強固な性能を維持した。これに対してBERTモデルは、低頻度ラベルの予測に苦労した。
• LLaMA 7bモデルは、標準的なCPU/GPUハードウェア上でも高い性能（ラージデータセットでF1=0.783）を達成した。これは、専用インfraを要せず、オンプレミスでのデプロイが可能であることを示している。