[論文レビュー] Artificial General Intelligence for Medical Imaging Analysis

Xiang Li, Lin Zhao+17 more|arXiv (Cornell University)|Jun 8, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 12

ひとこと要約

これは、人工一般知能（AGI）モデル、特にLLMとマルチモーダルモデルが医療画像診断と医療ケアへ適応される方法の包括的なレビューであり、ロードマップ、応用、課題、ドメイン固有の考慮事項を概説する。

ABSTRACT

Large-scale Artificial General Intelligence (AGI) models, including Large Language Models (LLMs) such as ChatGPT/GPT-4, have achieved unprecedented success in a variety of general domain tasks. Yet, when applied directly to specialized domains like medical imaging, which require in-depth expertise, these models face notable challenges arising from the medical field's inherent complexities and unique characteristics. In this review, we delve into the potential applications of AGI models in medical imaging and healthcare, with a primary focus on LLMs, Large Vision Models, and Large Multimodal Models. We provide a thorough overview of the key features and enabling techniques of LLMs and AGI, and further examine the roadmaps guiding the evolution and implementation of AGI models in the medical sector, summarizing their present applications, potentialities, and associated challenges. In addition, we highlight potential future research directions, offering a holistic view on upcoming ventures. This comprehensive review aims to offer insights into the future implications of AGI in medical imaging, healthcare, and beyond.

研究の動機と目的

• 基盤となるAGIモデルを、プライバシーと規制の制約を尊重しつつ、医療画像診断と医療全般の領域に適合させる方法を評価する。
• 専門知識、多モーダルデータ、ドメイン固有のプロンプトを統合するデータ・知識・モデリング戦略を特定する。
• 臨床ワークフローおよび教育現場へのAGIの実用的なロードマップを概説する。
• 実世界の医療現場における潜在的な応用と重要な課題を強調する。）

提案手法

• LLMs/AGIの特性と技術的基盤を調査する（出現能力、マルチモーダル学習、トランスフォーマー、コンテキスト内学習、プロンプトエンジニアリング、RLHF）。
• 医療画像診断と医療タスクへのエキスパート・イン・ザ・ループ戦略およびドメイン適合について論じる。
• テキスト、画像、臨床データを組み合わせたマルチモーダルモデリングと統合の実践を提案し、知識グラフと医療情報学の役割を取り上げる。
• 病院規模のAGIシステムに関するデータプライバシー、規制、協力、展開の考慮事項を検討する。）

Figure 1: Illustration of a) in-context learning and b) prompt engineering.

実験結果

リサーチクエスチョン

• RQ1 LLMsとマルチモーダルAGIモデルを、医療画像診断と医療の特有の要求にどのように適応させることができるか？
• RQ2 プライバシーとコンプライアンスを維持しつつ、医療ドメインに効果的にAGIを適合させるには、どのようなデータ・知識・モデリング戦略が必要か？
• RQ3 臨床ワークフロー、教育、研究へのAGIツールの展開に向けて、どのようなロードマップと実践的手順が提案されているか？
• RQ4 医療画像診断と医療でAGIを使用する際の主な課題と潜在的な落とし穴は何か、そしてそれらをどう軽減できるか？

主な発見

• 本論文は、データ・知識・モデルの考慮事項を含む、医療画像診断へのAGI適応のための設計原則とロードマップを構造化したセットを提供する。
• エキスパート・イン・ザ・ループ、ドメイン適合、プロンプト調整、マルチモーダルプロンプト、そしてRLHFを医療AGIの主要な促進要因として論じる。
• 病気の診断、患者アウトカム予測、医療教育、臨床文書の効率化などの実用的な応用を強調しつつ、規制、プライバシー、データ利用可能性、展開の課題にも言及している。
• 本レビューには定量的な結果は報告されていない；知見は能力、課題、展開の考慮事項の定性的評価である。