[논문 리뷰] SPeC: A Soft Prompt-Based Calibration on Performance Variability of Large Language Model in Clinical Notes Summarization

Yu-Neng Chuang, Ruixiang Tang외 2명|arXiv (Cornell University)|2023. 03. 23.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Model, LLM) 기반 임상 노트 요약에서 성능 변동성을 줄이고 프롬프트 기반 성능 향상을 유지하는 모델에 종속적이지 않은 소프트 프롬프트 기반 校정 프레임워크인 SPeC을 제안한다. 임베딩 공간에서 이산 프롬프트와 상호작용하는 학습 가능한 내분포 소프트 프롬프트를 통해 SPeC은 Flan-T5에서 최대 43.1%까지 출력 변동성을 감소시켜 보다 일관되고 신뢰할 수 있는 의료 요약을 가능하게 하며, 학습 중에 기준 참조 자료가 필요로 하지 않는다.

ABSTRACT

Electronic health records (EHRs) store an extensive array of patient information, encompassing medical histories, diagnoses, treatments, and test outcomes. These records are crucial for enabling healthcare providers to make well-informed decisions regarding patient care. Summarizing clinical notes further assists healthcare professionals in pinpointing potential health risks and making better-informed decisions. This process contributes to reducing errors and enhancing patient outcomes by ensuring providers have access to the most pertinent and current patient data. Recent research has shown that incorporating prompts with large language models (LLMs) substantially boosts the efficacy of summarization tasks. However, we show that this approach also leads to increased output variance, resulting in notably divergent outputs even when prompts share similar meanings. To tackle this challenge, we introduce a model-agnostic Soft Prompt-Based Calibration (SPeC) pipeline that employs soft prompts to diminish variance while preserving the advantages of prompt-based summarization. Experimental findings on multiple clinical note tasks and LLMs indicate that our method not only bolsters performance but also effectively curbs variance for various LLMs, providing a more uniform and dependable solution for summarizing vital medical information.

연구 동기 및 목표

• 임상 노트 요약에 수작업으로 설계된 지시 프롬프트를 사용할 때 LLM 생성 요약의 높은 성능 변동성을 해결하기 위해.
• 소량의 프롬프트 변화가 심각하게 다른 요약 출력을 초래하는 불안정성을 극복하기 위해.
• 프롬프트 기반 요약의 이점을 유지하면서 다양한 LLM 간 일관성을 향상시키는 모델에 종속적이지 않은 校정 방법을 개발하기 위해.
• 비NLP 전문가가 프롬프트 설계 선택에 민감하지 않게 하여 LLM을 임상 요약에 안정적으로 사용할 수 있도록 하기 위해.
• 메서드가 제로샷이며 학습 중 기준 요약 자료가 필요로 하지 않아 의료 현장에서의 실용성을 높이기 위해.

제안 방법

• 소프트 프롬프트 인코더를 도입하여 학습 가능한 파라미터가 토큰 임베딩 공간에서 이산 지시 프롬프트와 상호작용하도록 한다.
• 성능과 안정성을 향상시키기 위해 LLM의 어휘에서 유래한 내분포 소프트 프롬프트 토큰을 외부 분포 토큰 대신 사용한다.
• 최적화 과정에서 기준 요약 자료가 필요로 하지 않는 제로샷 방식으로 소프트 프롬프트 인코더를 훈련시킨다.
• LLM 출력을 校정하기 위해 소프트 프롬프트 파라미터를 미세조정하여 변동성을 최소화하면서도 임상 요약 작업에서 평균 성능를 유지한다.
• SPeC 프레임워크를 다양한 LLM과 임상 노트 데이터셋(예: MIMIC-CXR의 방사선 검사 보고서 포함)에 적용한다.
• ROUGE 메트릭(ROUGE-1, ROUGE-2, ROUGE-L)을 사용하여 평균 성능와 출력 변동성 감소를 평가한다.

실험 결과

연구 질문

• RQ1 소프트 프롬프트 기반 校정이 표준 이산 프롬프트에 비해 LLM 기반 임상 노트 요약의 성능 변동성을 어느 정도 감소시키는가?
• RQ2 소프트 프롬프트 토큰의 분포 선택(내분포 대비 외부분포)이 요약 성능와 변동성 감소에 어떤 영향을 미치는가?
• RQ3 기준 요약 자료가 필요로 하지 않는 제로샷, 모델에 종속적이지 않은 소프트 프롬프트 校정 프레임워크가 학습 중에 기준 요약 자료 없이도 높은 요약 품질을 유지할 수 있는가?
• RQ4 SPeC은 다양한 LLM 간 일관성을 향상시키면서도 임상 노트 요약 작업에서 평균 성능를 유지하거나 향상시킬 수 있는가?
• RQ5 SPeC은 실제 임상 데이터셋(예: MIMIC-CXR)에서 표준화된 보고서(예: 방사선 검사 보고서)에 대해 변동성을 얼마나 효과적으로 감소시키는가?

주요 결과

• 내분포 소프트 프롬프트 토큰을 사용할 때 Flan-T5 모델에서 출력 변동성을 최대 43.1%까지 감소시켜 일관성을 크게 향상시켰다.
• 내분포 소프트 프롬프트 토큰 사용으로 ROUGE-1의 표준편차는 38.2% 감소, ROUGE-2는 38.7%, ROUGE-L은 43.1% 감소하여 외부분포 토큰보다 우수한 성능를 보였다.
• SPeC는 높은 평균 성능(예: ROUGE-L 평균 0.4973)을 유지하면서 변동성은 극적으로 감소시켰다(표준편차 0.0079에서 0.0045로 감소).
• 외부분포 소프트 프롬프트는 여전히 변동성을 19.7%에서 22.5%까지 감소시켰지만, 내분포 토큰보다 성능가 일관되게 떨어졌다.
• 이 프레임워크는 다양한 LLM과 임상 요약 작업에서 효과적이며 일반화 가능성과 강건성을 입증했다.
• SPeC는 학습 중 기준 요약 자료가 필요로 하지 않아 실제 의료 환경에 구현 가능한 신뢰성 있고 일관성 있는 요약을 가능하게 했다.