[논문 리뷰] SummQA at MEDIQA-Chat 2023:In-Context Learning with GPT-4 for Medical Summarization

Yash Mathur, Sanketh Rangreji외 4명|arXiv (Cornell University)|2023. 06. 30.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 MEDIQA-2023 공동 과제에서 의료 대화 요약을 위한 GPT-4 기반의 인-컨텍스트 학습 방법을 제시한다. 섹션별 및 전체 기록 요약을 위해 의미적 유사도와 최대 경계 재levance(MMR)를 사용하여 few-shot 예제를 선택한다. 이 방법은 Task A(섹션별 요약)에서 팀 중 2위를 기록했고, Task B의 분류별 요약에서 역시 2위를 기록하여, 자료가 제한된 환경에서도 강력한 few-shot 프ом프팅 성능을 보였다. 다만 추출적 충실도와 길이 측면에서 한계가 있다.

ABSTRACT

Medical dialogue summarization is challenging due to the unstructured nature of medical conversations, the use of medical terminology in gold summaries, and the need to identify key information across multiple symptom sets. We present a novel system for the Dialogue2Note Medical Summarization tasks in the MEDIQA 2023 Shared Task. Our approach for section-wise summarization (Task A) is a two-stage process of selecting semantically similar dialogues and using the top-k similar dialogues as in-context examples for GPT-4. For full-note summarization (Task B), we use a similar solution with k=1. We achieved 3rd place in Task A (2nd among all teams), 4th place in Task B Division Wise Summarization (2nd among all teams), 15th place in Task A Section Header Classification (9th among all teams), and 8th place among all teams in Task B. Our results highlight the effectiveness of few-shot prompting for this task, though we also identify several weaknesses of prompting-based approaches. We compare GPT-4 performance with several finetuned baselines. We find that GPT-4 summaries are more abstractive and shorter. We make our code publicly available.

연구 동기 및 목표

• 제한된 애너테이션 데이터와 개인정보 보호 제약으로 인해 저자원 의료 대화 요약 문제를 해결하기 위해.
• 의사-환자 대화에서 정확하고 구조화된 SOAP 노트를 생성하기 위해 GPT-4를 활용한 few-shot 인-컨텍스트 학습을 탐색하기 위해.
• 의미적 유사도와 MMR를 사용해 관련 있는 인-컨텍스트 예제를 선택하여 요약 품질을 향상시키기 위해.
• 저자원 의료 환경에서 BART 및 T5와 같은 훈련된 모델들과 비교해 GPT-4의 제로샷 및 few-shot 성능을 평가하기 위해.
• 프롬프팅 기반 LLM의 한계를 분석하기 위해, 특히 환영, 불확실성, 추출 능력 저하 등의 문제를 다루기 위해.

제안 방법

• 섹션별 요약(Task A)의 경우, 문장 임베딩과 MMR를 사용해 의미적으로 유사한 대화 중 상위-k개를 선별하여 GPT-4의 인-컨텍스트 시범 예제로 활용한다.
• 이 방법은 두 단계로 구성된 파ip라인을 사용한다: (1) 미세조정된 BioBERT를 통한 섹션 헤더 분류, (2) 선택된 예제를 활용한 인-컨텍스트 프롬프팅을 통한 요약.
• 전체 기록 요약(Task B)의 경우, 토큰 길이 제약으로 인해 k=1개의 인-컨텍스트 예제만 사용되며, 의미적 유사도 기반으로 선택된다.
• 시스템은 MiniLM 문장 임베딩을 사용해 대화와 후보 예제 간의 의미적 유사도를 계산한다.
• 인-컨텍스트 예제는 입력-출력 템플릿 형식으로 구조화되어 GPT-4의 생성을 안내하며, 불확실성을 줄이기 위해 온도를 0으로 설정한다.
• 이 방법은 검색 기반 예제 선택과 GPT-4의 few-shot 인-컨텍스트 학습을 결합하여 미세조정 없이 요약을 생성한다.

실험 결과

연구 질문

• RQ1 GPT-4를 사용한 인-컨텍스트 학습이 저자원 의료 요약 환경에서 BART 및 T5와 같은 훈련된 모델보다 성능이 뛰어나게 할 수 있는가?
• RQ2 인-컨텍스트 예제 수(k)가 의료 대화 요약 작업의 요약 품질에 어떤 영향을 미치는가?
• RQ3 GPT-4가 생성한 요약은 인간 기준 요약과 길이, 추출적 충실도, 개재적 품질 측면에서 어떻게 비교되는가?
• RQ4 고위험 의료 요약 환경에서 프롬프팅 기반 LLM의 주요 한계는 무엇인가? 특히 환영과 일관성 문제를 중심으로 분석한다.
• RQ5 MMR 기반 예제 선택이 few-shot 환경에서 무작위 또는 비중복 선택보다 요약 품질을 향상시킬 수 있는가?

주요 결과

• 시스템은 총 3위를 기록했고, Task A(섹션별 요약)에서 팀 중 2위를 기록하여 강력한 few-shot 성능을 입증했다.
• Task B 분류별 요약에서 시스템은 총 4위를 기록했고, 팀 중 2위를 기록하여 전체 기록 생성에서의 효과성을 확인했다.
• 인-컨텍스트 예제 수(k)를 늘릴수록 ROUGE-L 점수가 40.3(k=3)에서 42.8(k=7)로 상승하여 일관된 성능 향상을 보였다.
• GPT-4 요약은 인간 기준 요약 및 훈련된 모델보다 훨씬 짧고 더 추상적이었으며, 이는 추출적 충실도가 떨어짐을 시사한다.
• 높은 성능에도 불구하고, 온도=0임에도 불구하고 출력이 불안정하고 불확실성이 존재하여, 인-컨텍스트 학습의 불안정성을 드러냈다.
• 이 방법은 환영과 개인정보 유출 위험 등 윤리적 리스크를 드러내었으며, 후행적 사실 검증과 엄격한 HIPAA 준수 필요성을 제기했다.