[논문 리뷰] Large Language Models in Sport Science & Medicine: Opportunities, Risks and Considerations

Mark Connor, Michael F. O‘Neill|arXiv (Cornell University)|2023. 05. 05.

Artificial Intelligence in Healthcare and EducationMedicine인용 수 3

한 줄 요약

이 논문은 스포츠 과학 및 의학 분야에서 대규모 언어 모델(Large Language Models, LLMs)의 통합을 검토하며, 임상 의사결정 지원, 개인화된 훈련 프로그램 개선, 지식 확산—특히 자원이 부족한 지역에서의 확산—등의 잠재력을 강조한다. 데이터 편향, 개인정보 유출, 환상적 출력 등의 주요 위험 요소를 규명하며, 안전하고 공정한 응용을 위해 윤리적 일치와 인간이 개입하는 검증이 필요하다고 강조한다.

ABSTRACT

This paper explores the potential opportunities, risks, and challenges associated with the use of large language models (LLMs) in sports science and medicine. LLMs are large neural networks with transformer style architectures trained on vast amounts of textual data, and typically refined with human feedback. LLMs can perform a large range of natural language processing tasks. In sports science and medicine, LLMs have the potential to support and augment the knowledge of sports medicine practitioners, make recommendations for personalised training programs, and potentially distribute high-quality information to practitioners in developing countries. However, there are also potential risks associated with the use and development of LLMs, including biases in the dataset used to create the model, the risk of exposing confidential data, the risk of generating harmful output, and the need to align these models with human preferences through feedback. Further research is needed to fully understand the potential applications of LLMs in sports science and medicine and to ensure that their use is ethical and beneficial to athletes, clients, patients, practitioners, and the general public.

연구 동기 및 목표

• 대규모 언어 모델(LLMs)가 스포츠 과학 및 의학 분야에 어떻게 활용될 수 있는지 평가하기.
• LLM 배포와 관련된 주요 위험 요소, 예를 들어 데이터 편향, 개인정보 노출, 환상적 출력 등을 규명하기.
• LLM을 임상 기준 및 인간의 선호도와 어떻게 일치시킬 수 있는지 도전 과제 분석하기.
• 스포츠 의학 실무에 윤리적이고 근거 기반으로 LLM을 통합할 것을 주장하기.
• 저자원 지역에서 고품질의 스포츠 건강 정보에의 접근성을 높이기 위해 LLM을 활용해 지원하기.

제안 방법

• 자연어 처리 분야에서의 현재 LLM 기능과 스포츠 의학 적용 분야로의 이식 가능성에 대한 체계적 검토.
• LLM 학습 메커니즘 분석, 대규모 텍스트 코퍼스를 통한 사전 학습 및 인간 피드백을 통한 피니팅 포함.
• LLM의 임상 권고 생성, 의료 문헌 요약, 개인화된 훈련 계획 수립 능력 평가.
• 건강 관련 LLM에서의 데이터 프라이버시, 모델 환상, 데이터셋 편향과 관련된 위험 평가.
• 질적 및 개념적 프레임워크를 활용해 LLM의 윤리적 및 임상 일치성 평가, 전문가의 요구에 부합하는지 분석.
• 특히 검증 및 실제 임상 환경 통합 측면에서의 연구 및 구현 격차 규명.

실험 결과

연구 질문

• RQ1 대규모 언어 모델(LLMs)은 스포츠 의학 및 과학 분야에서 의사결정 지원과 개인화를 어떻게 향상시킬 수 있는가?
• RQ2 임상 및 운동 성능 환경에서 LLM을 배포함에 있어 주요 위험 요소는 무엇인가?
• RQ3 훈련 데이터의 편향은 스포츠 건강 분야에서 LLM이 생성하는 권고의 신뢰성과 공정성에 어떤 영향을 미칠 수 있는가?
• RQ4 LLM 사용을 통해 기밀 환자 또는 운동선수 정보가 泄露되는 것을 방지하기 위해 어떤 보안 조치가 필요한가?
• RQ5 스포츠 의학 분야에서 LLM을 임상 지침과 인간의 선호도에 윤리적으로 일치시키기 위해선 어떤 조치가 필요한가?

주요 결과

• LLMs는 텍스트 기반 데이터를 바탕으로 개인화된 훈련 및 회복 권고를 생성함으로써 스포츠 의학 전문가의 업무를 지원할 잠재력을 보여준다.
• 전문가가 부족한 개발도상국 등에서 LLM을 통해 고품질의 스포츠 건강 정보에의 접근성이 향상될 수 있다.
• 모델 환상의 위험이 상당히 존재하며, 이는 사실과 다를 수 있지만 신뢰할 수 있는 것처럼 보이는 의료 또는 훈련 권고를 생성할 수 있다.
• 훈련 데이터의 편향은 특히 소수자 또는 대표성이 부족한 인구 집단에 대해 불공정하거나 정확하지 못한 권고를 초래할 수 있다.
• 임상 기준과 일치하고 유해하거나 오해의 소지가 있는 콘텐츠를 줄이기 위해 인간 피드백을 통한 피니팅이 필수적이다.
• LLM이 임상 의사결정 지원 시스템에서 신뢰성 있게 사용되기 위해서는 철저한 검증 및 감독 메커니즘이 필요하다.