[논문 리뷰] An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT

Chong Ma, Zihao Wu외 14명|arXiv (Cornell University)|2023. 04. 17.

Topic Modeling참고 문헌 42인용 수 40

한 줄 요약

ImpressionGPT은 동적이고 유사도 기반 프롬프트와 반복 최적화를 사용하여 ChatGPT가 모델 미세조정 없이 방사선학 보고서를 요약하도록 하며, MIMIC-CXR와 OpenI에서 최첨단 결과를 달성합니다.

ABSTRACT

The 'Impression' section of a radiology report is a critical basis for communication between radiologists and other physicians, and it is typically written by radiologists based on the 'Findings' section. However, writing numerous impressions can be laborious and error-prone for radiologists. Although recent studies have achieved promising results in automatic impression generation using large-scale medical text data for pre-training and fine-tuning pre-trained language models, such models often require substantial amounts of medical text data and have poor generalization performance. While large language models (LLMs) like ChatGPT have shown strong generalization capabilities and performance, their performance in specific domains, such as radiology, remains under-investigated and potentially limited. To address this limitation, we propose ImpressionGPT, which leverages the in-context learning capability of LLMs by constructing dynamic contexts using domain-specific, individualized data. This dynamic prompt approach enables the model to learn contextual knowledge from semantically similar examples from existing data. Additionally, we design an iterative optimization algorithm that performs automatic evaluation on the generated impression results and composes the corresponding instruction prompts to further optimize the model. The proposed ImpressionGPT model achieves state-of-the-art performance on both MIMIC-CXR and OpenI datasets without requiring additional training data or fine-tuning the LLMs. This work presents a paradigm for localizing LLMs that can be applied in a wide range of similar application scenarios, bridging the gap between general-purpose LLMs and the specific language processing needs of various domains.

연구 동기 및 목표

• LLM을 도메인 내에서 활용하여 방사선 보고서 요약의 효율성을 높이고 방사선의사의 업무 부담을 줄인다.
• 의미적으로 유사한 기존 보고서를 활용하여 ChatGPT의 맥락을 구성하는 동적이고 도메인 특화 프롬프트 전략을 개발한다.
• 자동 평가 및 프롬프트 업데이트를 통해 ChatGPT 출력물을 정제하는 반복 최적화 루프를 도입한다.
• 추가적인 LLM 미세 조정 없이 공개 방사선 데이터세트(MIMIC-CXR 및 OpenI)에서 ImpressionGPT를 평가한다.
• 제한된 도메인 데이터를 사용하여 일반 LLM을 도메인 특화 작업에 적응시키기 위한 일반화 가능한 패러다임을 제공한다.

제안 방법

• CheXpert에서 유래한 질병 라벨을 사용하여 의미적으로 유사한 보고서를 선택하기 위해 도메인 특정 말뭉치에 대해 유사성 검색을 수행하여 동적 프롬프트를 구성한다.
• 작업 설명, 동적 샘플(Q&A 스타일; 유사한 소견과 인상 포함), 및 최종 질의로 구성된 3부분 동적 프롬프트를 구축한다.
• Rouge-1로 유사 참조의 인상과 대조하여 ChatGPT 출력물을 평가하고, 좋은/나쁜 예시로 프롬프트를 업데이트하는 반복 최적화 알고리즘을 적용한다.
• Rouge-1을 평가 지표로 사용하여 반복적 프롬프트 다듬기를 안내하고 가장 잘 생성된 인상을 선택한다.
• 이 접근 방식이 LLM을 미세 조정하지 않고도 MIMIC-CXR 및 OpenI에서 최첨단 성능을 달성함을 입증하고, 프롬핑에는 소량의 도메인 데이터만 사용된다.
• GitHub에서 오픈 소스 코드 이용 가능성을 제공한다.

실험 결과

연구 질문

• RQ1 의미적으로 유사한 도메인 특성 예시들로 구축된 동적 프롬프트가 모델 미세 조정 없이도 ChatGPT의 방사선 소견 생성 능력을 향상시킬 수 있는가?
• RQ2 정적 동적 프롬프트와 비교했을 때 반복적 프롬프트 최적화 루프가 생성된 인상의 지속적 향상을 이끌어내는가?
• RQ3 제한된 도메인 데이터로 ImpressionGPT가 서로 다른 방사선법 코퍼스(MIMIC-CXR 및 OpenI)에 얼마나 잘 일반화되는가?
• RQ4 자동 평가(Rouge-1)가 프롬프트 다듬기 유도와 더 높은 품질의 인상 달성에 어떤 역할을 하는가?

주요 결과

• ImpressionGPT는 두 개의 공개 데이터세트에서 기존 방사선 보고서 요약 방법에 비해 상당한 성능 향상을 달성한다.
• 이 방법은 LLM 미세 조정 없이 프롬핑에 5–20개의 도메인 데이터와 함께 작동한다.
• 의미적으로 유사한 보고서로부터 구축된 동적 맥락은 모델이 관련 인상을 생성하는 능력을 향상시킨다.
• 좋은/나쁜 응답 피드백을 사용하는 반복적 프롬프트 최적화 루프가 시간이 지남에 따라 생성 품질을 더욱 향상시킨다.
• 이 프레임워크는 맥락 내 학습과 반복 프롬프팅을 통해 제한된 데이터로 대형 언어 모델을 도메인 특화 작업에 적응시키는 일반적 패러다임으로 제시된다.
• ImpressionGPT를 구현한 코드는 GitHub에서 제공된다.