[논문 리뷰] Holistic Evaluation of GPT-4V for Biomedical Imaging

Zhengliang Liu, Hanqi Jiang외 48명|arXiv (Cornell University)|2023. 11. 10.

Artificial Intelligence in Healthcare and Education인용 수 12

한 줄 요약

이 논문은 생물의학 영상 작업에서 GPT-4V의 능력을 대규모 다도메인 평가로 조사하며, 모달리티 인식, 위치 지정, 진단, 및 16개의 영상 도메인에 걸친 보고서 생성을 다룹니다. 모달리티/해부학 인식과 이미지 자막 작성에서 강점을 확인하고, 질병 진단 및 정밀한 위치 지정에는 한계가 있음을 확인합니다.

ABSTRACT

In this paper, we present a large-scale evaluation probing GPT-4V's capabilities and limitations for biomedical image analysis. GPT-4V represents a breakthrough in artificial general intelligence (AGI) for computer vision, with applications in the biomedical domain. We assess GPT-4V's performance across 16 medical imaging categories, including radiology, oncology, ophthalmology, pathology, and more. Tasks include modality recognition, anatomy localization, disease diagnosis, report generation, and lesion detection. The extensive experiments provide insights into GPT-4V's strengths and weaknesses. Results show GPT-4V's proficiency in modality and anatomy recognition but difficulty with disease diagnosis and localization. GPT-4V excels at diagnostic report generation, indicating strong image captioning skills. While promising for biomedical imaging AI, GPT-4V requires further enhancement and validation before clinical deployment. We emphasize responsible development and testing for trustworthy integration of biomedical AGI. This rigorous evaluation of GPT-4V on diverse medical images advances understanding of multimodal large language models (LLMs) and guides future work toward impactful healthcare applications.

연구 동기 및 목표

• GPT-4V를 다양한 생물의학 영상 모달리티(X-선, MRI, CT, 현미경 등) 전반에 걸쳐 평가하여 모달리티 인식 능력을 평가한다.
• 생물의학 영상 내 해부학적 구조를 위치 지정하는 GPT-4V의 능력을 평가한다.
• 생물의학 작업에서 GPT-4V의 영상 분류/진단 성능을 벤치마킹한다.
• 의료 영상으로부터 진단 양식의 보고서를 생성하는 GPT-4V의 능력을 시험한다.
• 생물의학 AGI의 책임 있는 임상 배치에 대한 시사점과 함께 강점, 한계에 대한 통찰을 제공한다.

제안 방법

• GPT-4V를 활용하여 다수의 공공 흉부 방사선 데이터세트에서 제로샷 및 직접 분류를 수행한다(예: MIMIC-CXR, CheXpert, ChestXray2017, COVID-Qu-Ex, OpenI, SIIM-ACR, NIH Chest X-rays).
• 다중 클래스 레이블을 출력하고 소견과 인상을 포함한 구조화된 진단 보고서를 생성하는 GPT-4V의 능력을 평가한다.
• 신경영상, 방사선종양치료 계획을 위한 종양영상, 세포병리학, 안과, 의생명공학 로봇공학, 신경질환 영상, 생물학 영상, 심장 영상, 초음파, 핵의학, 내시경, 피부과, 유전학, 정형/소아과, 치아 영상으로 평가를 확장한다.
• 신경영상에서 고해상도 데이터셋(예: R1741 마우스 뇌, Allen Brain Institute atlas)을 대상으로 지식 이전 및 재구성 품질 평가를 평가한다.
• 종양영상에서 TCIA 데이터세트(Burdenko-GBM-Progression, GLIS-RT, Lung-PET-CT-Dx)와 유방 X-선(DDSM)을 사용하여 다중 모달 평가를 수행한다.
• 세포병리학에서 LC25000 및 ALL 데이터세트를 활용하여 세포 수준의 진단 능력을 평가하고 병기 측면의 한계 포함한다.

실험 결과

연구 질문

• RQ1 GPT-4V가 다양한 생물의학 데이터셋 전반에서 영상 모달리티와 해부학적 영역을 신뢰성 있게 인식할 수 있는가?
• RQ2 생물의학 영상에서 질병 진단 및 병변 위치 지정을 얼마나 잘 수행하는가?
• RQ3 이미지로부터 일관되고 임상적으로 유용한 방사선학 또는 병리보고서를 생성하는 GPT-4V의 능력은 어떠한가?
• RQ4 비방사선 생물의학 영상 작업(예: 안과, 병리학, 신경과학, 생물학, 로보틱스)에 적용할 때 GPT-4V의 강점과 한계는 무엇인가?
• RQ5 임상 또는 연구 맥락에서 GPT-4V와 같은 생물의학 다중모달 LLM의 책임 있는 검증 및 배치를 위해 필요한 고려사항은 무엇인가?

주요 결과

• GPT-4V는 여러 영상 도메인에 걸쳐 모달리티 인식 및 해부학 위치 지정에 능숙함을 보인다.
• GPT-4V는 진단 보고서 생성에 탁월하며, 강력한 이미지 자막 작성 능력을 시사한다.
• 일부 작업에서 질병 진단과 병변의 정밀한 위치 지정에 어려움을 겪는다.
• 추가 컨텍스트 프롬프트와 도메인 정보로 성능이 향상되나, 고위험 임상 결정에 대한 격차는 남아 있다.
• 연구는 생물의학 AGI 배치를 위한 엄격한 검증, 편향 평가 및 인간-개입 감독의 필요성을 강조한다.