[논문 리뷰] Enhancing Clinical Efficiency through LLM: Discharge Note Generation for Cardiac Patients

HyoJe Jung, Yunha Kim외 11명|arXiv (Cornell University)|2024. 04. 08.

Electronic Health Records Systems인용 수 7

한 줄 요약

본 논문은 심장학 진행 노트를 바탕으로 여러 오픈소스 대형언어모델을 파인튜닝하여 퇴원 노트를 생성하며, Mistral-7B가 임상 문서화에서 강한 질적 성능과 경쟁력 있는 양적 성능을 달성합니다.

ABSTRACT

Medical documentation, including discharge notes, is crucial for ensuring patient care quality, continuity, and effective medical communication. However, the manual creation of these documents is not only time-consuming but also prone to inconsistencies and potential errors. The automation of this documentation process using artificial intelligence (AI) represents a promising area of innovation in healthcare. This study directly addresses the inefficiencies and inaccuracies in creating discharge notes manually, particularly for cardiac patients, by employing AI techniques, specifically large language model (LLM). Utilizing a substantial dataset from a cardiology center, encompassing wide-ranging medical records and physician assessments, our research evaluates the capability of LLM to enhance the documentation process. Among the various models assessed, Mistral-7B distinguished itself by accurately generating discharge notes that significantly improve both documentation efficiency and the continuity of care for patients. These notes underwent rigorous qualitative evaluation by medical expert, receiving high marks for their clinical relevance, completeness, readability, and contribution to informed decision-making and care planning. Coupled with quantitative analyses, these results confirm Mistral-7B's efficacy in distilling complex medical information into concise, coherent summaries. Overall, our findings illuminate the considerable promise of specialized LLM, such as Mistral-7B, in refining healthcare documentation workflows and advancing patient care. This study lays the groundwork for further integrating advanced AI technologies in healthcare, demonstrating their potential to revolutionize patient documentation and support better care outcomes.

연구 동기 및 목표

• 심장 환자의 퇴원 노트 생성에서 수작업 노력을 줄이고 정확도를 향상시키는 것.
• 지도 학습 미세조정과 PEFT를 이용하여 심장학 퇴원 노트 작업에서 다수의 오픈소스 LLM을 평가한다.
• 정량적 성능과 전문가의 질적 평가를 모두 평가하여 임상 활용도를 판단한다.

제안 방법

• 학습용으로 Progress Notes를 입력으로, Discharge Notes를 대상 라벨로 사용한다.
• 의료 문서화에 적응하기 위해 PEFT(QLoRA)를 사용한 SFT로 다수의 사전 학습된 LLM을 미세조정한다.
• Unsloth를 적용하여 미세조정 효율을 최적화하고 LoRA 기반 매개변수 업데이트를 수행한다.
• 모델을 ROUGE, BLEU, BERT Score, Perplexity 및 전문가-심장 질적 점수로 평가한다.

실험 결과

연구 질문

• RQ1 전문 특화 LLM이 심장학 진행 노트로부터 임상적으로 정확하고 실행 가능한 퇴원 노트를 생성할 수 있는가?
• RQ2 어떤 오픈소스 LLM(및 미세조정 전략)이 퇴원 노트 생성에서 정확성, 완전성, 가독성 및 활용성의 균형을 가장 잘 맞추는가?
• RQ3 정량적 지표가 의학 문서 생성에 대한 전문가의 질적 평가와 어떻게 조정되는가?

주요 결과

• Mistral-7B가 테스트된 모델들 중에서 높은 질적 점수와 유리한 양적 지표를 달성한다.
• 다른 모델들이 서로 다른 정량 지표에서 우수하므로 모든 기준에 대해 단일 최적 모델은 없다.
• 전문가 질적 평가에서 Mistral-7B의 정확성, 완전성, 가독성, 일관성 및 활용도가 강력하다.
• 이 연구는 AI 기반 퇴원 노트 자동화가 심장학에서 문서화 효율성과 진료 연속성을 향상시킬 가능성을 보여준다.
• 한계로는 도메인 특정 평가 격차 및 진행 노트 데이터 표준화 문제를 포함한다.