[논문 리뷰] Artificial General Intelligence for Medical Imaging Analysis

Xiang Li, Lin Zhao외 17명|arXiv (Cornell University)|2023. 06. 08.

Radiomics and Machine Learning in Medical Imaging인용 수 12

한 줄 요약

이 글은 인공지능 일반지능(AGI) 모델, 특히 LLM과 다중모달 모델이 의료 영상 및 헬스케어에 어떻게 적응될 수 있는지에 대한 포괄적 검토로, 로드맵, 응용 분야, 도전 과제 및 도메인별 고려사항을 개괄한다.

ABSTRACT

Large-scale Artificial General Intelligence (AGI) models, including Large Language Models (LLMs) such as ChatGPT/GPT-4, have achieved unprecedented success in a variety of general domain tasks. Yet, when applied directly to specialized domains like medical imaging, which require in-depth expertise, these models face notable challenges arising from the medical field's inherent complexities and unique characteristics. In this review, we delve into the potential applications of AGI models in medical imaging and healthcare, with a primary focus on LLMs, Large Vision Models, and Large Multimodal Models. We provide a thorough overview of the key features and enabling techniques of LLMs and AGI, and further examine the roadmaps guiding the evolution and implementation of AGI models in the medical sector, summarizing their present applications, potentialities, and associated challenges. In addition, we highlight potential future research directions, offering a holistic view on upcoming ventures. This comprehensive review aims to offer insights into the future implications of AGI in medical imaging, healthcare, and beyond.

연구 동기 및 목표

• 프라이버시 및 규제 제약을 존중하면서 기본형 AGI 모델이 의료 영상 및 헬스케어에 맞게 어떻게 조정될 수 있는지 평가한다.
• 전문 지식, 다중 모달 데이터, 도메인 특화 프롬프트를 통합하기 위한 데이터, 지식 및 모델링 전략을 식별한다.
• 임상 워크플로우 및 교육에 AGI를 배치하기 위한 실용적인 로드맵을 제시한다.
• 현실 세계의 의료 현장에서의 잠재적 응용과 중요한 도전과제를 강조한다.

제안 방법

• LLMs/AGI의 특성 및 기술적 기초(출현 능력, 다중모달 학습, 트랜스포머, 상황 맥락 학습, 프롬프트 엔지니어링, RLHF)를 조사한다.
• 의료 영상 및 헬스케어 과제에 대한 전문가 투입 전략과 도메인 맞춤화를 논의한다.
• 텍스트, 이미지 및 임상 데이터를 포함한 다중모달 모델링 및 통합 관행과 지식 그래프 및 의학 정보학의 역할을 제안한다.
• 병원 규모의 AGI 시스템에 대한 데이터 프라이버시, 규제, 협력 및 배치 고려사항을 검토한다.

Figure 1: Illustration of a) in-context learning and b) prompt engineering.

실험 결과

연구 질문

• RQ1 LLMs와 다중모달 AGI 모델을 의료 영상 및 헬스케어의 고유한 요구에 어떻게 적응시킬 수 있는가?
• RQ2 프라이버시 및 규정 준수를 유지하면서 의료 분야에 AGI를 효과적으로 맞추기 위해 필요한 데이터, 지식 및 모델링 전략은 무엇인가?
• RQ3 임상 워크플로우, 교육 및 연구에 AGI 도구를 배치하기 위해 제안된 로드맵과 실용적 단계는 무엇인가?
• RQ4 의료 영상 및 헬스케어에 AGI를 사용하는 데 있어 주요 도전과제와 잠재적 함정은 무엇이며, 이를 어떻게 완화할 수 있을까?

주요 결과

• 본 논문은 데이터, 지식 및 모델 고려사항을 포함하여 의료 영상에 AGI를 적응시키기 위한 설계 원칙과 로드맵의 체계적인 집합을 제공합니다.
• 전문가 투입, 도메인 맞춤화, 프롬프트 튜닝, 다중모달 프롬프트 및 RLHF를 헬스케어 AGI의 핵심 가능 요인으로 논의합니다.
• 이 리뷰는 질병 진단, 환자 결과 예측, 의학 교육, 간소화된 임상 문서화와 같은 실용적 응용을 강조하면서 규제, 프라이버시, 데이터 가용성 및 배치 도전과제를 지적합니다.
• 이 리뷰에서는 정량적 결과가 보고되지 않으며, 통찰은 능력, 도전 및 배치 고려에 대한 질적 평가입니다.