[論文レビュー] Health AI Developer Foundations

Atilla P. Kiraly, Sebastien Baur+24 more|arXiv (Cornell University)|Nov 22, 2024

Artificial Intelligence in Healthcare and Education被引用数 4

ひとこと要約

HAI-DEFは、レントgen画像、組織病理学、皮膚科、音声モダリティをカバーする医療AI開発向けに、事前学習済みでドメイン特化した基礎モデル、ツール、コードレシピのセットを提供する。ELIXR-C や HeAR といったモデルによる高品質でタスクに依存しない埋め込み表現を提供することで、データ、計算リソース、ラベル付けの必要性を低減し、低データ環境下でも性能が向上する一方で、ターゲットに合わせた微調整により公平性が向上する。

ABSTRACT

Robust medical Machine Learning (ML) models have the potential to revolutionize healthcare by accelerating clinical research, improving workflows and outcomes, and producing novel insights or capabilities. Developing such ML models from scratch is cost prohibitive and requires substantial compute, data, and time (e.g., expert labeling). To address these challenges, we introduce Health AI Developer Foundations (HAI-DEF), a suite of pre-trained, domain-specific foundation models, tools, and recipes to accelerate building ML for health applications. The models cover various modalities and domains, including radiology (X-rays and computed tomography), histopathology, dermatological imaging, and audio. These models provide domain specific embeddings that facilitate AI development with less labeled data, shorter training times, and reduced computational costs compared to traditional approaches. In addition, we utilize a common interface and style across these models, and prioritize usability to enable developers to integrate HAI-DEF efficiently. We present model evaluations across various tasks and conclude with a discussion of their application and evaluation, covering the importance of ensuring efficacy, fairness, and equity. Finally, while HAI-DEF and specifically the foundation models lower the barrier to entry for ML in healthcare, we emphasize the importance of validation with problem- and population-specific data for each desired usage setting. This technical report will be updated over time as more modalities and features are added.

研究の動機と目的

• 新規に強固な医療機械学習モデルを訓練する際の高コスト、データ不足、計算負荷の問題に対処すること。
• アクセス可能な事前学習済み基礎モデルとツールの提供により、医療分野におけるAI開発の入り口を下げる。
• ドメイン特化した埋め込み表現と、問題および集団特化データに対する微調整の支援を通じて、モデルの性能と公平性を向上させること。
• 標準化された使いやすいインターフェースとオープンウェイトモデルの提供により、臨床現場でのAIの実用的導入を加速すること。
• フィードバックの統合と新モダリティ・用途への拡張を可能にすることで、コミュニティ主導の改善を促進すること。

提案手法

• HAI-DEFは、対照的学習（SupCon）、CLIP、BLIP-2の手法を用いて、大規模かつ多様な医療データセット上で訓練された複数の基礎モデルを採用し、画像とテキストの共同表現学習を実現している。
• CXRe基礎モデルは、EfficientNet-L2バックボーンを採用し、X線画像とレントゲン報告書のペアデータを用いて臨床的に意味のある埋め込み表現を学習している。
• 音声分野では、咳や呼吸音の記録を用いて訓練された基礎モデルHeAR（Health Acoustics Representation）が、下流タスクに適した意味的埋め込みを抽出する。
• プラットフォームは研究用エンドポイントとオープンウェイトモデルの両方を提供しており、オープンソースコンテナおよび専用ライブラリ（例：組織病理学用）を介したデプロイメントをサポートしている。
• すべてのモデルで共通のインターフェースと一貫したスタイルを採用することで、開発者の使いやすさと統合の容易さを向上させている。
• 特に希少疾患やマイノリティ集団向けのタスクでは、ローカルのタスク特化データに対する微調整が推奨され、性能向上とバイアス低減に寄与する。

Figure 1 : Data efficiency comparison of four of our foundation models against established approaches. CXR (upper left) shows the average performance across six binary classification tasks with the original CXR Foundation model and the new ELIXR-B model; for Pathology (upper right), it focuses on a

実験結果

リサーチクエスチョン

• RQ1 事前学習済み基礎モデルは、下流の医療AIモデルを訓練するにあたり、ラベル付きデータ量と計算リソースの必要性を顕著に低減できるか？
• RQ2 HAI-DEFが提供するドメイン特化埋め込み表現は、特に低データ環境下において、多様な臨床的タスクでどの程度の性能を示すか？
• RQ3 集団特化またはデバイス特化データに対する微調整を施した場合、HAI-DEFモデルがどれほど公平性と公平性の向上に寄与するか？
• RQ4 CLIPおよびBLIP-2ベースのモデルは、ゼロショットおよびフェイシュット医療画像認識タスクにおいて、性能特性でどのように差が現れるか？
• RQ5 コミュニティからのフィードバックと反復的なモデル更新は、医療AI基礎モデルの長期的有用性と一般化性能向上にどのような役割を果たすか？

主な発見

• ELIXR-C や HeAR といった HAI-DEF 基礎モデルは、下流タスクで優れたゼロショット性能を示しており、広範な微調整の必要性を低減する。
• ドメイン特化埋め込み表現の使用により、ラベル付きデータ量を著しく削減しながらも、特に低データ環境下で堅牢なモデル性能が達成される。
• ローカルの集団特化データに対する微調整は、希少疾患やマイノリティ集団の文脈において性能向上とバイアス低減をもたらす。
• HeAR は、スマートフォンを用いて収集された新しい音声データに対して強力な汎化性能を示しており、実世界への適応性が非常に高いことが判明した。
• プラットフォームの標準化されたインターフェースとオープンウェイトモデルのおかげで、統合と反復が迅速化され、研究およびデプロイメントサイクルが加速した。
• 強力な性能を発揮しているものの、HAI-DEFモデルは現在、画像セグメンテーションや生成タスクをサポートしておらず、デバイス上でのデプロイメントにはモデル蒸留が必要な場合がある。

Figure 2 : Performance of ELIXR-C, ELIXR-B, and the original CXR Foundation embeddings for data-efficient classification. The ROC AUC results of a linear probe are shown averaged across 2 datasets (CheXpert and Chest X-ray14) for seven findings: atelectasis, cardiomegaly, airspace opacity, fracture,