[論文レビュー] Data-Centric Foundation Models in Computational Healthcare: A Survey

Yunkun Zhang, Jin Gao+6 more|arXiv (Cornell University)|Jan 4, 2024

Machine Learning in Healthcare被引用数 14

ひとこと要約

本論文は医療におけるデータ中心の基盤モデルを調査し、データ品質、統合、プライバシー、AI-人間の連携に焦点を当て、臨床ワークフローを改善する。

ABSTRACT

The advent of foundation models (FMs) as an emerging suite of AI techniques has struck a wave of opportunities in computational healthcare. The interactive nature of these models, guided by pre-training data and human instructions, has ignited a data-centric AI paradigm that emphasizes better data characterization, quality, and scale. In healthcare AI, obtaining and processing high-quality clinical data records has been a longstanding challenge, ranging from data quantity, annotation, patient privacy, and ethics. In this survey, we investigate a wide range of data-centric approaches in the FM era (from model pre-training to inference) towards improving the healthcare workflow. We discuss key perspectives in AI security, assessment, and alignment with human values. Finally, we offer a promising outlook of FM-based analytics to enhance the performance of patient outcome and clinical workflow in the evolving landscape of healthcare and medicine. We provide an up-to-date list of healthcare-related foundation models and datasets at https://github.com/Yunkun-Zhang/Data-Centric-FM-Healthcare .

研究の動機と目的

• 医療におけるデータ中心AIパラダイムと、それがFMの開発と医療ワークフローに与える影響を強調する。
• 医療データにおける主要なデータ課題（例：多モーダル性、アノテーション負担、プライバシー）を特定し、FMがそれらにどう対処するかを明らかにする。
• FM対応の医療におけるAIセキュリティ、評価、そして人間の価値観との整合性について論じる。
• 医療関連の基盤モデルとデータセットの最新マップを提供し、医療分野のFMベースの分析の方向性を概説する。

提案手法

• FMの基礎（事前学習、ファインチューニング、インコンテキスト学習）をレビューし、それらが医療タスクにどのように関連するかを検討する。
• 医療FMにおけるデータ中心戦略（データ品質、データ規模、統合、プライバシー）を分析する。
• 多模态統合アプローチ（結合モーダリティ事前学習、LLMベースの統合）とそれらの医療応用を要約する。
• PEFTと指示チューニングを医療タスクにFMを適応させる方法として議論する。
• 医療に特化した事前学習戦略とモデル初期化を調査し、ドメイン特有のコーパスとデータキュレーションを含む。

実験結果

リサーチクエスチョン

• RQ1 データ中心のAI原則は医療アプリケーションの基盤モデルをどのように強化できるか？
• RQ2 医療におけるFMの性能に最も影響を与えるデータ関連課題（例：多モーダル性、アノテーション、プライバシー）は何か、そしてそれらをどう緩和できるか？
• RQ3 一般的なFMを医療タスクに適応させるうえで、PEFTとインコンテキスト学習はどれくらい効果的か？
• RQ4 医療分析における多模態FM事前学習とLLM統合の利点と限界は何か？
• RQ5 AI-人間の整合性とプライバシーの考慮事項は、医療におけるFMのデプロイにどのように影響を与えるべきか？

主な発見

• 医療関連の基盤モデルとデータセットの最新リストを見つけ、それらの適用について議論した。
• FM時代のデータ中心戦略は臨床ワークフローを再構築し、患者のアウトカムを改善する可能性がある。
• PEFTとインコンテキスト学習は、データが限られた医療タスクや特定ドメインのタスクにFMを適用する可能性を示している。
• 結合モーダリティ事前学習とLLMベースの統合は、医療タスクの跨モダリティ理解を高める。
• プライバシー、倫理、整合性への認識は、FMベースの医療分析を安全に展開するために不可欠である。