[논문 리뷰] OpenMEDLab: An Open-source Platform for Multi-modality Foundation Models in Medicine

Xiaosong Wang, Xiaofan Zhang외 18명|arXiv (Cornell University)|2024. 02. 28.

Biomedical Text Mining and Ontologies인용 수 8

한 줄 요약

OpenMEDLab은 다양한 모달리티(이미지, 텍스트, 단백질) 간의 의학 기초 모델을 프롬프트, 사전 학습, 평가, 벤치마크로 묶어 의학 태스크에 적응할 수 있게 하는 오픈 소스 플랫폼이다.

ABSTRACT

The emerging trend of advancing generalist artificial intelligence, such as GPTv4 and Gemini, has reshaped the landscape of research (academia and industry) in machine learning and many other research areas. However, domain-specific applications of such foundation models (e.g., in medicine) remain untouched or often at their very early stages. It will require an individual set of transfer learning and model adaptation techniques by further expanding and injecting these models with domain knowledge and data. The development of such technologies could be largely accelerated if the bundle of data, algorithms, and pre-trained foundation models were gathered together and open-sourced in an organized manner. In this work, we present OpenMEDLab, an open-source platform for multi-modality foundation models. It encapsulates not only solutions of pioneering attempts in prompting and fine-tuning large language and vision models for frontline clinical and bioinformatic applications but also building domain-specific foundation models with large-scale multi-modal medical data. Importantly, it opens access to a group of pre-trained foundation models for various medical image modalities, clinical text, protein engineering, etc. Inspiring and competitive results are also demonstrated for each collected approach and model in a variety of benchmarks for downstream tasks. We welcome researchers in the field of medical artificial intelligence to continuously contribute cutting-edge methods and models to OpenMEDLab, which can be accessed via https://github.com/openmedlab.

연구 동기 및 목표

• 다양한 모달리티 간 의학 기초 모델과 데이터를 공유하기 위한 응집된 플랫폼 촉진.
• 의료 하류 태스크를 위한 프롬프트 작성, 미세조정 및 적응 기술 시연.
• 일반화 및 효율성 평가를 위한 대규모 의학 데이터셋 및 벤치마킹 제공.
• 의료 분야의 도메인 특화 기초 모델 발전을 촉진하기 위한 커뮤니티 기여 장려.

제안 방법

• LLM, 영상 및 단백질 엔지니어링에 걸친 사전 학습 의학 기초 모델 군을 선별하고 공개.
• 일반 모델을 의료 도메인으로 이전시키기 위한 프롬프트 작성 및 적응 파이프라인 개발(프롬프트, RAG, 기억, 제약 생성).
• 의료 영상 및 NLP에서 모델 평가 및 적응을 위한 다중 모달 데이터셋과 벤치마크 구성.
• 구조화된 벤치마크 및 전용 의료 LLM 평가 프레임워크(EL0 유사 구성 및 Elo 기반 랭킹)로 모델 평가.
• 자동화된 클라우드 기반 평가 플랫폼(MedBench) 및 재현성을 위한 오픈 소스 도구 제공.

Figure 1 : OpenMEDLab: an open-source platform for facilitating medical foundation models.

실험 결과

연구 질문

• RQ1 프롬프트 및 도메인 특화 미세조정을 통해 일반 모델을 다양한 의료 모달리티에 효과적으로 적응시킬 수 있는 방법은?
• RQ2 모듈 간 일반화, 효율성 및 안전성을 평가하는 벤치마크와 데이터셋은 어떤 것이 가장 적합한가?
• RQ3 오픈 소스 플랫폼이 낮은 비용과 높은 견고성으로 의료 기초 모델의 개발 및 배치를 가속화할 수 있는가?

주요 결과

• OpenMEDLab은 영상, NLP, 단백질 분야에 걸친 다양한 오픈 소스 의료 기초 모델을 제공한다.
• 저명한 모델로는 LLM(예: PULSE) 및 다수의 비전/3D/의료 영상 모델(예: RETFound, Endo-FM, MIS-FM, STU-Net, SAM-Med3D, BROW, PathoDuet, D-MIM, USFM)이 포함된다.
• EL0 스타일 Elo 기반 평가를 사용하여 의료 LLM을 비교하며, GPT-4가 여러 벤치마크에서 평균 순위 상위를 차지했다.
• MedBench는 30만 문제를 넘는 중국어 의학 LLM 평가 스위트를 제공하여 의학 이해, 생성, QA 및 윤리를 다룬다.
• 유망한 프롬프트 전략(CITE, MIU-VL) 및 소수 샷 위치화(MedLAM)가 의료 데이터에 기반한 기초 모델의 grounding에 실용적 경로를 보여준다.

Figure 2 : The overall organization of OpenMEDLab.