[论文解读] Large AI Models in Health Informatics: Applications, Challenges, and the Future

Jianing Qiu, Lin Li+12 more|arXiv (Cornell University)|Mar 21, 2023

Artificial Intelligence in Healthcare and Education被引用 8

一句话总结

论文对大型 AI 模型（LAMs）及其在健康信息学中的应用进行了全面综述，概述了相关领域、收益、挑战与未来方向。

ABSTRACT

Large AI models, or foundation models, are models recently emerging with massive scales both parameter-wise and data-wise, the magnitudes of which can reach beyond billions. Once pretrained, large AI models demonstrate impressive performance in various downstream tasks. A prime example is ChatGPT, whose capability has compelled people's imagination about the far-reaching influence that large AI models can have and their potential to transform different domains of our lives. In health informatics, the advent of large AI models has brought new paradigms for the design of methodologies. The scale of multi-modal data in the biomedical and health domain has been ever-expanding especially since the community embraced the era of deep learning, which provides the ground to develop, validate, and advance large AI models for breakthroughs in health-related areas. This article presents a comprehensive review of large AI models, from background to their applications. We identify seven key sectors in which large AI models are applicable and might have substantial influence, including 1) bioinformatics; 2) medical diagnosis; 3) medical imaging; 4) medical informatics; 5) medical education; 6) public health; and 7) medical robotics. We examine their challenges, followed by a critical discussion about potential future directions and pitfalls of large AI models in transforming the field of health informatics.

研究动机与目标

• 确定七个大型 AI 模型能够影响实践与研究的健康信息学领域
• 概述在多模态任务中的 LAMs 的当前进展与基准测试
• 讨论在生物医学环境中部署 LAMs 的挑战、风险与局限性
• 概述未来方向与潜在风险，为研究人员与从业者提供指引

提出的方法

• 综合最近关于 LAMs 的文献，包括 LLMs、LVMs、LMMs，并按训练数据模态与体系结构进行分类
• 描述 LAMs 的特征性要素：大规模、跨域广义预训练与跨域泛化
• 通过定性讨论与引用实例，将 LAMs 与先前的 SOTA 生物医学任务方法进行比较
• 总结在健康护理语境中的领域特定应用与适应策略，如 RLHF 与提示技术
• 强调数据可得性、标注成本与模态整合等实际考量

实验结果

研究问题

• RQ1 LAMs 有潜力影响实践与研究的七个健康信息学领域是什么？
• RQ2 在生物科学、诊断影像、信息学、教育、公共卫生与机器人任务中，LAMs 的表现与适应性如何与以往方法相比？
• RQ3 在健康信息学中部署 LAMs 的主要挑战、局限性与风险有哪些？
• RQ4 未来十年影响健康护理中 LAM 发展方向、方法学与安全防护的趋势将有哪些？

主要发现

• LAMs 支持跨模态学习与零-shot/少样本能力，可以改变诊断、影像与信息学任务
• 在生物信息学中，大型蛋白/RNA 语言模型与结构/预测方法显示出强大性能与速度优势，但仍依赖数据质量与基准评估
• 在医学影像领域，LVMs 与 LVLMs 展现出零-shot 分割与分类能力，需对特定模态数据（如 MRI、OCT）进行适应
• 生物医药领域的 LLM（如 Med-PaLM、Med-PaLM 2、GatorTron）在医学问答、推理与出院摘要生成方面取得进展，显示对临床支持与文档撰写的潜力
• LMMs 与多模态对齐策略提升了图像-文本理解，并在医疗环境中实现检索与生成任务
• 挑战包括数据可得性、标注成本、校准、事实基础、安全性，以及对自动输出的过度依赖风险