[논문 리뷰] Foundation Model for Advancing Healthcare: Challenges, Opportunities, and Future Directions

Yuting He, Fuxiang Huang외 5명|arXiv (Cornell University)|2024. 04. 04.

Primary Care and Health Outcomes인용 수 5

한 줄 요약

언어, 비전, 생물정보학 및 다중 모드 하위 분야에 걸친 헬스케어 파운데이션 모델(HFMs)에 대한 포괄적 조사를 통해 방법, 데이터 자원, 응용, 도전 과제 및 향후 방향을 자세히 설명합니다.

ABSTRACT

Foundation model, which is pre-trained on broad data and is able to adapt to a wide range of tasks, is advancing healthcare. It promotes the development of healthcare artificial intelligence (AI) models, breaking the contradiction between limited AI models and diverse healthcare practices. Much more widespread healthcare scenarios will benefit from the development of a healthcare foundation model (HFM), improving their advanced intelligent healthcare services. Despite the impending widespread deployment of HFMs, there is currently a lack of clear understanding about how they work in the healthcare field, their current challenges, and where they are headed in the future. To answer these questions, a comprehensive and deep survey of the challenges, opportunities, and future directions of HFMs is presented in this survey. It first conducted a comprehensive overview of the HFM including the methods, data, and applications for a quick grasp of the current progress. Then, it made an in-depth exploration of the challenges present in data, algorithms, and computing infrastructures for constructing and widespread application of foundation models in healthcare. This survey also identifies emerging and promising directions in this field for future development. We believe that this survey will enhance the community's comprehension of the current progress of HFM and serve as a valuable source of guidance for future development in this field. The latest HFM papers and related resources are maintained on our website: https://github.com/YutingHe-list/Awesome-Foundation-Models-for-Advancing-Healthcare.

연구 동기 및 목표

• HCFs(언어, 시각, 생물정보학 및 다중모달)의 네 가지 하위 분야 전반에서 헬스케어 파운데이션 모델(HFMs)의 현재 진행 상황 요약
• HFM 도입을 방해하는 데이터, 알고리즘 및 컴퓨팅 인프라의 문제점 분석
• HFMs에 사용되는 사전 학습(pre-training) 및 적응 방법의 분류체계 제공
• 향후 연구를 안내하기 위한 데이터 세트, 응용 및 신흥 방향 식별

제안 방법

• 하위 필드(LFM, VFM, BFM, MFM)별 및 사전 학습 패러다임(생성적, 대조적, 하이브리드, 감독적)에 따른 체계적인 분류체계 제시
• HFMs를 의료 작업에 이전시키는 데 있어 미세 조정(fine-tuning), 어댑터 튜닝, 프롬프트 엔지니어링의 적응 전략 및 역할 검토
• 데이터 가용성 및 한계 평가를 위한 네 하위 분야의 데이터 세트 및 자원 요약
• 임상 맥락에 HFMs를 매핑하여 실질적 영향도 검토
• 데이터 품질/다양성, 알고리즘 신뢰성, 컴퓨팅 인프라의 주요 과제 논의

실험 결과

연구 질문

• RQ1 의료 분야에서의 HFMs가 언어, 비전, 생물정보학 및 다중모달 영역에서 현재 어떤 진전을 보이고 있는가?
• RQ2 의료 분야에서 HFMs가 직면한 주요 데이터, 알고리즘 및 인프라 과제는 무엇인가?
• RQ3 임상의 실무를 진전시키기 위해 앞으로의 방향과 기회 중 가장 유망한 것은 무엇인가?

주요 결과

• 네 하위 분야의 HFMs은 다양한 작업에 적용 가능한 일반적 능력을 가능하게 함으로써 의료 AI를 가속화했습니다.
• 데이터 윤리, 다양성, 이질성 및 비용과 관련된 중대한 도전이 대규모 HFM 학습 및 배치를 방해합니다.
• 고차원의 의료 데이터에 대한 컴퓨팅 인프라 요구량은 상당하며 환경에도 영향을 미칩니다.
• 사전 학습 및 적응 방법의 광범위한 분류체계는 생성적/대조 학습의 광범위한 사용과 다운스트림 작업의 미세 조정이나 프롬프트 기반 적응을 보여줍니다.
• 이 조사는 HFMs의 향후 개발을 가이드할 광범위한 데이터 세트, 응용 및 방향 제시를 제공합니다.