[论文解读] Artificial General Intelligence for Medical Imaging Analysis

Xiang Li, Lin Zhao+17 more|arXiv (Cornell University)|Jun 8, 2023

Radiomics and Machine Learning in Medical Imaging被引用 12

一句话总结

这是对人工通用智能（AGI）模型，特别是大语言模型（LLMs）和多模态模型，如何被改造用于医学影像与医疗保健的综合评估，概述路线图、应用、挑战以及领域特定的考虑因素。

ABSTRACT

Large-scale Artificial General Intelligence (AGI) models, including Large Language Models (LLMs) such as ChatGPT/GPT-4, have achieved unprecedented success in a variety of general domain tasks. Yet, when applied directly to specialized domains like medical imaging, which require in-depth expertise, these models face notable challenges arising from the medical field's inherent complexities and unique characteristics. In this review, we delve into the potential applications of AGI models in medical imaging and healthcare, with a primary focus on LLMs, Large Vision Models, and Large Multimodal Models. We provide a thorough overview of the key features and enabling techniques of LLMs and AGI, and further examine the roadmaps guiding the evolution and implementation of AGI models in the medical sector, summarizing their present applications, potentialities, and associated challenges. In addition, we highlight potential future research directions, offering a holistic view on upcoming ventures. This comprehensive review aims to offer insights into the future implications of AGI in medical imaging, healthcare, and beyond.

研究动机与目标

• 评估基础型 AGI 模型在符合隐私和监管约束的前提下，如何为医学影像与医疗保健量身定制。
• 确定将专家知识、多模态数据与领域特定提示整合的数据、知识和建模策略。
• 为在临床工作流程与教育中部署 AGI 提供切实可行的路线图。
• 突出现实世界医疗环境中的潜在应用及关键挑战。

提出的方法

• 调查 LLMs/AGI 的特征与技术基础（新兴能力、多模态学习、Transformer、上下文学习、提示工程、 RLHF）。
• 讨论专家参与环路策略以及面向医学影像与医疗任务的领域定制。
• 提出多模态建模与整合实践（文本、图像和临床数据），以及知识图谱与医学信息学的作用。
• 审视面向医院级 AGI 系统的数据隐私、监管、协作与部署等考量。

Figure 1: Illustration of a) in-context learning and b) prompt engineering.

实验结果

研究问题

• RQ1 如何将 LLMs 与多模态 AGI 模型适应于医学影像和医疗的独特需求？
• RQ2 在确保隐私与合规性前提下，需要哪些数据、知识与建模策略来有效定制 AGI 以适应医学领域？
• RQ3 提出了哪些用于在临床工作流程、教育与研究中部署 AGI 工具的路线图和实际步骤？
• RQ4 在将 AGI 用于医学影像与医疗保健时，主要挑战与潜在陷阱有哪些，以及如何减轻它们？

主要发现

• 本文提供了将 AGI 应用于医学影像的结构化设计原则与路线图，包括数据、知识与模型方面的考虑。
• 它讨论了专家参与、领域定制、提示微调、多模态提示和 RLHF 作为实现医疗保健 AGI 的关键驱动因素。
• 综述强调了疾病诊断、患者结局预测、医学教育，以及简化临床文书等实际应用，同时指出监管、隐私、数据可用性与部署方面的挑战。
• 本综述未报告定量结果；见解为对能力、挑战与部署考量的定性评估。