[論文レビュー] Enhancing Clinical Efficiency through LLM: Discharge Note Generation for Cardiac Patients

HyoJe Jung, Yunha Kim+11 more|arXiv (Cornell University)|Apr 8, 2024

Electronic Health Records Systems被引用数 7

ひとこと要約

この論文は、心臓病の経過ノートに対してさまざまなオープンソースの大規模言語モデルを微調整し、退院ノートを生成する。Mistral-7Bが臨床文書作成において質的評価が高く、定量的評価も競争力のある結果を示した。

ABSTRACT

Medical documentation, including discharge notes, is crucial for ensuring patient care quality, continuity, and effective medical communication. However, the manual creation of these documents is not only time-consuming but also prone to inconsistencies and potential errors. The automation of this documentation process using artificial intelligence (AI) represents a promising area of innovation in healthcare. This study directly addresses the inefficiencies and inaccuracies in creating discharge notes manually, particularly for cardiac patients, by employing AI techniques, specifically large language model (LLM). Utilizing a substantial dataset from a cardiology center, encompassing wide-ranging medical records and physician assessments, our research evaluates the capability of LLM to enhance the documentation process. Among the various models assessed, Mistral-7B distinguished itself by accurately generating discharge notes that significantly improve both documentation efficiency and the continuity of care for patients. These notes underwent rigorous qualitative evaluation by medical expert, receiving high marks for their clinical relevance, completeness, readability, and contribution to informed decision-making and care planning. Coupled with quantitative analyses, these results confirm Mistral-7B's efficacy in distilling complex medical information into concise, coherent summaries. Overall, our findings illuminate the considerable promise of specialized LLM, such as Mistral-7B, in refining healthcare documentation workflows and advancing patient care. This study lays the groundwork for further integrating advanced AI technologies in healthcare, demonstrating their potential to revolutionize patient documentation and support better care outcomes.

研究の動機と目的

• 心臓病患者の退院ノート作成における手動作業を削減し、精度を向上させる。
• 監視付き微調整とPEFTを用いて、心臓病領域の退院ノート課題に対して複数のオープンソースLLMを評価する。
• 臨床的有用性を判断するために、定量的パフォーマンスと専門家による質的評価の両方を評価する。

提案手法

• 訓練にはProgress Notesを入力、Discharge Notesをターゲットラベルとして使用する。
• 医療文書作成へ適応させるため、PEFT（QLoRA）を用いたSFTで複数の事前学習済みLLMをファインチューニングする。
• ファインチューニングの効率を最適化するためにUnslothを適用し、LoRAベースのパラメータ更新を行う。
• ROUGE、BLEU、BERTスコア、パープレキシティ、および専門家による心臓病領域の質的スコアでモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 専門化されたLLMは、心臓病の経過ノートから臨床的に正確で実用的な退院ノートを作成できるか？
• RQ2 どのオープンソースLLM（および微調整戦略）が、退院ノート作成において正確性、完全性、読みやすさ、および実用性のバランスを最もとれるか？
• RQ3 医療文書生成における定量的指標と専門家による質的評価がどのように一致するか？

主な発見

モデル	Rouge	BLEU	BERTスコア	パープレキシティ	Rouge1	Rouge2	RougeL
TinyLlama-1.1B	0.267	0.191	0.239	0.09	0.838	1.655
Llama2-7B	0.469	0.363	0.434	0.11	0.866	1.573
Mistral-7B	0.471	0.350	0.422	0.17	0.875	1.709
BioMistral-7B	0.397	0.280	0.346	0.12	0.865	1.970
Meditron-7B	0.377	0.273	0.336	0.10	0.853	1.592
SOLAR-10.7B	0.442	0.313	0.386	0.12	0.872	2.187

• Mistral-7Bは、テスト対象モデルの中で高い質的スコアと有利な定量指標を達成した。
• 異なるモデルは異なる定量指標で優れており、すべての基準で唯一の最良モデルは存在しないことを示している。
• 専門家による質的評価は、Mistral-7Bの高い正確性、完全性、読みやすさ、一貫性、実用性を示している。
• 本研究は、AI主導の退院ノート自動化が心臓病領域の文書作成の効率とケアの連続性を高める可能性を示している。
• 制限として、領域特有の評価ギャップと経過ノートのデータ標準化の課題が挙げられる。