[論文レビュー] OpenMEDLab: An Open-source Platform for Multi-modality Foundation Models in Medicine

Xiaosong Wang, Xiaofan Zhang+18 more|arXiv (Cornell University)|Feb 28, 2024

Biomedical Text Mining and Ontologies被引用数 8

ひとこと要約

OpenMEDLab は、画像・テキスト・タンパク質のモダリティを横断する医療基盤モデルを prompting、事前学習、評価、ベンチマークとともに束ね、医療タスクへの適応を可能にするオープンソースプラットフォームです。

ABSTRACT

The emerging trend of advancing generalist artificial intelligence, such as GPTv4 and Gemini, has reshaped the landscape of research (academia and industry) in machine learning and many other research areas. However, domain-specific applications of such foundation models (e.g., in medicine) remain untouched or often at their very early stages. It will require an individual set of transfer learning and model adaptation techniques by further expanding and injecting these models with domain knowledge and data. The development of such technologies could be largely accelerated if the bundle of data, algorithms, and pre-trained foundation models were gathered together and open-sourced in an organized manner. In this work, we present OpenMEDLab, an open-source platform for multi-modality foundation models. It encapsulates not only solutions of pioneering attempts in prompting and fine-tuning large language and vision models for frontline clinical and bioinformatic applications but also building domain-specific foundation models with large-scale multi-modal medical data. Importantly, it opens access to a group of pre-trained foundation models for various medical image modalities, clinical text, protein engineering, etc. Inspiring and competitive results are also demonstrated for each collected approach and model in a variety of benchmarks for downstream tasks. We welcome researchers in the field of medical artificial intelligence to continuously contribute cutting-edge methods and models to OpenMEDLab, which can be accessed via https://github.com/openmedlab.

研究の動機と目的

• モダリティを横断して医療基盤モデルとデータを共有するための一貫したプラットフォームを促進する。
• 医療の下流タスクの prompting、ファインチューニング、適応技術を実証する。
• 大規模な医療データセットとベンチマークを提供し、一般化と効率性を評価する。
• 医療分野におけるドメイン特化型基盤モデルを進展させるコミュニティの貢献を促す。

提案手法

• LLM、画像、タンパク質工学を跨ぐ事前学習済み医療基盤モデルのスイートを編成・公開する。
• 一般的なモデルを医療ドメインへ転用するための prompting および適応パイプラインを開発する（ prompting、RAG、メモリ、制約生成）。
• 医療画像診断とNLPのモデル評価・適応のために、マルチモーダルなデータセットとベンチマークを assembling する。
• 構造化ベンチマークと専用の医療LLM評価フレームワーク（EL0-風設定と Elo ベースのランキング）を用いてモデルを評価する。
• 再現性のための自動・クラウドベースの評価プラットフォーム（MedBench）とオープンソース tooling を提供する。

Figure 1 : OpenMEDLab: an open-source platform for facilitating medical foundation models.

実験結果

リサーチクエスチョン

• RQ1 prompting と領域特化の微調整を介して、汎用的な基盤モデルを多様な医療モダリティへ効果的に適応させるにはどうすればよいか。
• RQ2 モダリティを跨いだ医療基盤モデルの一般化、効率性、安全性を最もよく評価するベンチマークとデータセットは何か。
• RQ3 オープンソースプラットフォームは医療基盤モデルの開発と展開を、コストを低くし、堅牢性を高める形で加速できるか。

主な発見

• OpenMEDLab は、画像、NLP、タンパク質領域にわたる多様なオープンソース医療基盤モデルを提供する。
• 著名なモデルには LLM（例: PULSE）や複数のビジョン/3D/医療画像モデル（例: RETFound、Endo-FM、MIS-FM、STU-Net、SAM-Med3D、BROW、PathoDuet、D-MIM、USFM）を含む。
• EL0-スタイルの Elo ベース評価を用いて医療LLMを比較し、GPT-4 がいくつかのベンチマークで平均ランクのトップを獲得。
• MedBench は医療理解・生成・QA・倫理を含む 30万問超の中国語医療LLM評価スイートを提供。
• 有望な prompting 戦略（CITE、MIU-VL）と少数ショットの局在化（MedLAM）は、医療データに基づく基盤モデルのグラウンディングへの実用的な道筋を示す。

Figure 2 : The overall organization of OpenMEDLab.