[논문 리뷰] Advancing Medical Imaging with Language Models: A Journey from N-grams to ChatGPT

Mingzhe Hu, Shaoyan Pan외 2명|arXiv (Cornell University)|2023. 04. 11.

Artificial Intelligence in Healthcare and Education인용 수 20

한 줄 요약

본 논문은 ChatGPT를 포함한 언어 모델이 캡션 작성, 보고서 생성, 소견 추출, 시각적 질의 응답 등 의학 영상 작업을 향상시키는 데 어떻게 사용되고 있는지 검토하고, 임상 워크플로우에 대한 잠재적 이점을 논의한다.

ABSTRACT

In this paper, we aimed to provide a review and tutorial for researchers in the field of medical imaging using language models to improve their tasks at hand. We began by providing an overview of the history and concepts of language models, with a special focus on large language models. We then reviewed the current literature on how language models are being used to improve medical imaging, emphasizing different applications such as image captioning, report generation, report classification, finding extraction, visual question answering, interpretable diagnosis, and more for various modalities and organs. The ChatGPT was specially highlighted for researchers to explore more potential applications. We covered the potential benefits of accurate and efficient language models for medical imaging analysis, including improving clinical workflow efficiency, reducing diagnostic errors, and assisting healthcare professionals in providing timely and accurate diagnoses. Overall, our goal was to bridge the gap between language models and medical imaging and inspire new ideas and innovations in this exciting area of research. We hope that this review paper will serve as a useful resource for researchers in this field and encourage further exploration of the possibilities of language models in medical imaging.

연구 동기 및 목표

• 대형 언어 모델을 중심으로 언어 모델의 역사와 개념에 대한 개관을 제공한다.
• 다양한 모달리티와 장기에 걸친 의학 영상 작업에 적용된 언어 모델에 대한 현 문헌을 검토한다.
• 의료 영상 연구에서 새로운 응용을 모색하기 위한 중심점으로 ChatGPT를 강조한다.
• 임상 워크플로우의 효율성, 진단 정확성 및 시기적 진단에 대한 잠재적 이점을 논의한다.

제안 방법

• N-그램에서 대형 언어 모델에 이르는 언어 모델의 역사적 발전을 고찰한다.
• 의료 영상 분야의 응용에 관한 문헌을 검토한다. 예: 이미지 캡션 작성, 보고서 생성, 보고서 분류, 소견 추출, 시각적 질문 응답, 해석 가능한 진단 등.
• ChatGPT를 부각시키고 의료 영상 연구에서의 활용 가능성을 논의한다.
• 언어 모델과 의료 영상 실무 간의 격차를 해소하기 위한 통찰을 종합한다.

실험 결과

연구 질문

• RQ1 다양한 모달리티와 장기에 걸쳐 언어 모델이 현재 의학 영상 작업(예: 캡션 작성, 보고, 소견 추출, VQA, 해석)에 어떻게 적용되고 있나?
• RQ2 의료 영상에서 임상 워크플로우 효율성 및 진단 정확도에 대해 언어 모델이 제공하는 잠재적 이점과 한계는 무엇인가?
• RQ3 의료 영상 연구 및 실무를 위한 ChatGPT의 특별한 역할이나 활용은 무엇인가?
• RQ4 연구자들이 언어 모델을 활용해 의료 영상 분야의 새로운 아이디어와 혁신을 어떻게 촉발할 수 있는가?

주요 결과

• 언어 모델은 다양한 모달리티와 장기에 걸쳐 캡션 작성, 보고서 생성, 보고서 분류, 소견 추출, 시각적 질문 응답, 해석 가능한 진단 등 여러 의료 영상 작업을 개선하는 데 사용되고 있다.
• ChatGPT가 의학 영상 연구자들이 더 많은 잠재적 응용을 탐구하는 도구로 강조된다.
• 정확하고 효율적인 언어 모델은 임상 워크플로우의 효율성을 향상시키고 진단 오류를 줄이며 의료 전문의의 시기적이고 정확한 진단을 지원할 가능성이 있다.