[论文解读] Large Language Models in Sport Science & Medicine: Opportunities, Risks and Considerations

Mark Connor, Michael F. O‘Neill|arXiv (Cornell University)|May 5, 2023

Artificial Intelligence in Healthcare and EducationMedicine被引用 3

一句话总结

本文探讨了大型语言模型（LLMs）在运动科学与医学中的整合，强调其在增强临床决策、个性化训练计划以及改善知识传播方面的潜力，尤其是在资源匮乏地区。文章识别出数据偏差、隐私泄露和幻觉输出等关键风险，强调需要伦理对齐与人工介入验证，以确保其应用的安全与公平。

ABSTRACT

This paper explores the potential opportunities, risks, and challenges associated with the use of large language models (LLMs) in sports science and medicine. LLMs are large neural networks with transformer style architectures trained on vast amounts of textual data, and typically refined with human feedback. LLMs can perform a large range of natural language processing tasks. In sports science and medicine, LLMs have the potential to support and augment the knowledge of sports medicine practitioners, make recommendations for personalised training programs, and potentially distribute high-quality information to practitioners in developing countries. However, there are also potential risks associated with the use and development of LLMs, including biases in the dataset used to create the model, the risk of exposing confidential data, the risk of generating harmful output, and the need to align these models with human preferences through feedback. Further research is needed to fully understand the potential applications of LLMs in sports science and medicine and to ensure that their use is ethical and beneficial to athletes, clients, patients, practitioners, and the general public.

研究动机与目标

• 评估大型语言模型（LLMs）在运动科学与医学中的潜在应用。
• 识别与LLM部署相关的关键风险，包括数据偏差、隐私暴露和幻觉输出。
• 探讨LLM与临床标准及人类偏好对齐的挑战。
• 倡导在运动医学实践中实现伦理化、基于证据的LLM整合。
• 通过LLM支持在资源有限地区实现高质量运动健康信息的公平获取。

提出的方法

• 系统性回顾当前大型语言模型在自然语言处理中的能力及其在运动医学背景下的可迁移性。
• 分析LLM的训练机制，包括在大规模文本语料上进行预训练，以及通过人类反馈进行微调。
• 评估LLM在生成临床建议、总结医学文献和个性化训练计划方面的表现。
• 评估与健康相关LLM相关的数据隐私、模型幻觉和数据集偏差等风险。
• 运用定性与概念性框架，评估LLM在临床与伦理层面与临床工作者需求的契合度。
• 识别研究与实施中的缺口，特别是在验证与真实临床环境整合方面。

实验结果

研究问题

• RQ1 大型语言模型如何提升运动医学与运动科学中的决策制定与个性化水平？
• RQ2 在临床与运动表现场景中部署LLM的主要风险是什么？
• RQ3 训练数据中的偏差如何影响运动健康领域LLM生成建议的可靠性与公平性？
• RQ4 需要采取哪些防护措施，以防止通过LLM使用暴露患者或运动员的机密信息？
• RQ5 如何使LLM在运动医学中实现与临床指南及人类偏好的伦理对齐？

主要发现

• LLMs在基于文本数据生成个性化训练与康复建议方面，展现出支持运动医学从业者的重要潜力。
• LLMs可提升发展中国家等资源有限地区获取高质量运动健康信息的能力，这些地区专科人才稀缺。
• 模型幻觉存在显著风险，即LLMs可能生成看似合理但事实错误的医学或训练建议。
• 训练数据中的偏差可能导致对代表性不足人群的不公或不准确建议。
• 通过人类反馈进行微调对对齐LLM输出与临床标准、减少有害或误导性内容至关重要。
• 在LLM可被可靠用于临床决策支持系统之前，必须建立强有力的验证与监督机制。