[논문 리뷰] PULSAR at MEDIQA-Sum 2023: Large Language Models Augmented by Synthetic Dialogue Convert Patient Dialogues to Medical Records

Viktor Schlegel, Hao Li외 9명|arXiv (Cornell University)|2023. 07. 05.

Machine Learning in HealthcareComputer Science인용 수 3

한 줄 요약

이 논문은 환자-의사 대화를 임상 기록으로 변환하기 위해 도메인 특화 사전 훈련과 합성 데이터 증강을 활용하는 대규모 언어 모델 프레임워크인 PULSAR를 제안한다. 사전 훈련과 데이터 증강으로 인한 성능 향상은 제한적이지만, 모델 크기의 확장이 가장 뚜렷한 성능 향상을 이끌었으며, MEDIQA-Sum 2023 챌린지의 Task B에서 2위와 3위를 기록했다.

ABSTRACT

This paper describes PULSAR, our system submission at the ImageClef 2023 MediQA-Sum task on summarising patient-doctor dialogues into clinical records. The proposed framework relies on domain-specific pre-training, to produce a specialised language model which is trained on task-specific natural data augmented by synthetic data generated by a black-box LLM. We find limited evidence towards the efficacy of domain-specific pre-training and data augmentation, while scaling up the language model yields the best performance gains. Our approach was ranked second and third among 13 submissions on task B of the challenge. Our code is available at https://github.com/yuping-wu/PULSAR.

연구 동기 및 목표

• 대규모 언어 모델을 임상 대화 요약에 적응시키는 데 있어 도메인 특화 사전 훈련과 데이터 증강의 효과를 조사하는 것.
• 통합된 LLM 프레임워크가 최소한의 적응으로 새로운 의료 NLP 작업에 일반화될 수 있는지 평가하는 것.
• 환자-의사 대화를 구조화된 의료 기록 섹션으로 변환함으로써 임상 기록의 자동화를 향상시키는 것.
• 모델 크기, 사전 훈련, 데이터 증강이 의료 환경에서 개괄적 요약 성능에 미치는 영향을 평가하는 것.
• 저자원 의료 NLP 작업을 향상시키기 위해 블랙박스 LLM을 활용해 합성 데이터를 생성하는 것이 가능한지 탐색하는 것.

제안 방법

• 실제 임상 기록에서 추출한 가짜 요약 의료 용어를 재구성하는 사전 훈련 목표를 사용해 대규모 언어 모델을 미세조정했다.
• 지침 템플릿을 사용해 블랙박스 LLM(예: GPT-3.5)에 프롬프트를 주어 작업별 대화-기록 쌍을 생성함으로써 합성 훈련 데이터를 생성했다.
• 어댑터 기반 미세조정을 적용하여 전체 파라미터의 1.1%만 업데이트함으로써 계산 비용을 줄이고 효율적인 적응을 가능하게 했다.
• Task B와 C에서 실재 데이터와 증강된 데이터에 대해 ROUGE, ROUGE-L, ROUGE-LSum 지표를 사용해 성능을 평가했다.
• 다양한 크기(예: 3B, 11B)와 훈련 전략(전체 미세조정 대비 어댑터 미세조정)의 모델 변종을 비교하여 크기와 적응의 영향을 분리 분석했다.
• 두 단계 훈련 프로세스를 사용: 먼저 의료 용어 재구성에 대해 사전 훈련하고, 그 다음 실재 및 합성 데이터를 사용해 대화-기록 생성에 대해 미세조정했다.

Figure 1: Example of the pre-train objective of PULSAR. Both Masked Language Model (MLM) and Gap Sentences Generation (GSG) have been employed in this scenario. Red and orange arrows exemplify the UMLS and N2C2 MLM masking strategy, respectively. Meanwhile, the black arrow shows the GSG masking stra

실험 결과

연구 질문

• RQ1 도메인 특화 사전 훈련이 임상 대화 요약에서 제로샷 또는 희소샷 성능을 향상시키는가?
• RQ2 실제 훈련 데이터가 제한된 상황에서 합성 데이터 증강이 모델 일반화에 얼마나 기여하는가?
• RQ3 어댑터와 같은 아키텍처적 적응과 비교해 모델 크기가 대화-의료 기록 생성 성능에 미치는 영향은 어떠한가?
• RQ4 특정 작업에 맞게 재훈련 없이도 단일 LLM 프레임워크가 MEDIQA-Sum 챌린지의 여러 하위 작업에 효과적으로 일반화될 수 있는가?
• RQ5 디코딩 초모수와 프롬프트 엔지니어링은 임상 요약의 생성 품질과 환각 비율에 어떤 영향을 미치는가?

주요 결과

• 모델 크기를 3B에서 11B 파라미터로 늘임으로써 가장 뚜렷한 성능 향상을 기록했으며, 모든 지표에서 11B 모델이 더 작은 변종들을 압도했다.
• 11B 모델은 MEDIQA-Sum 2023 챌린지의 Task B에서 2위와 3위를 기록하여, 최소한의 작업별 적응으로도 강력한 일반화 능력을 입증했다.
• 데이터 증강은 테스트 세트에서 ROUGE-1 기준 1.77점, ROUGE-2 기준 1.81점, ROUGE-L 기준 2.94점, ROUGE-LSum 기준 2.45점 향상시켰으며, 특히 더 작은 모델에게 유의미한 도움을 주었다.
• 성능 향상에도 불구하고, 더 큰 모델(예: 3B 모델)에서는 데이터 증강이 성능 향상에 뚜렷한 기여를 하지 못했으며, 충분한 실재 데이터가 확보된 상태에서 포화 상태에 도달했음을 시사했다.
• 어댑터 미세조정은 합리적인 성능를 기록했지만, 더 작은 모델조차도 전체 미세조정에 비해 성능이 열등했으며, 이는 전체 파라미터 업데이트가 더 효과적임을 시사했다.
• 모델는 환각과 입력 복사 등의 일반적인 생성 문제를 보였으며, 특히 Task C와 같은 저자원 환경에서 데이터 증강이 이를 완화하는 데 기여했다.