[論文レビュー] Towards General Purpose Medical AI: Continual Learning Medical Foundation Model

Huahui Yi, Ziyuan Qin+6 more|arXiv (Cornell University)|Mar 12, 2023

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

本論文は、視覚言語モデルを医療のファウンデーションモデルとして、ドメイン移動とタスク移動のもとで評価し、リハーサルバッファを用いた継続的学習がドメイン間/タスク間の一般化を改善し、壊滅的忘却を緩和することを示している。

ABSTRACT

Inevitable domain and task discrepancies in real-world scenarios can impair the generalization performance of the pre-trained deep models for medical data. Therefore, we audaciously propose that we should build a general-purpose medical AI system that can be seamlessly adapted to downstream domains/tasks. Since the domain/task adaption procedures usually involve additional labeling work for the target data, designing a data-efficient adaption algorithm is desired to save the cost of transferring the learned knowledge. Our recent work found that vision-language models (VLMs) are efficient learners with extraordinary cross-domain ability. Therefore, in this work, we further explore the possibility of leveraging pre-trained VLMs as medical foundation models for building general-purpose medical AI, where we thoroughly investigate three machine-learning paradigms, i.e., domain/task-specialized learning, joint learning, and continual learning, for training the VLMs and evaluate their generalization performance on cross-domain and cross-task test sets. To alleviate the catastrophic forgetting during sequential training, we employ rehearsal learning and receive a sharp boost in terms of generalization capability. In a nutshell, our empirical evidence suggests that continual learning may be a practical and efficient learning paradigm for the medical foundation model. And we hope researchers can use our empirical evidence as basement to further explore the path toward medical foundation model.

研究の動機と目的

• 過度なラベリングを必要とせず、さまざまなドメインとタスクに適応可能な汎用的な医療AIシステムを動機づける。
• 医療VLMのための三つの学習パラダイム（domain/task-specialized、joint learning、continual learning）を検討する。
• 医用画像タスクにおけるVLMのドメイン間およびタスク間の一般化を評価する。
• 継続学習中の壊滅的忘却を緩和するメカニズム（rehearsal/replay）を特定する。

提案手法

• 医療ファウンデーションモデルとしての事前学習済みVLMをテキストプロンプト付きで活用する。
• ドメイン/タスク特化、共同学習、継続学習という学習パラダイムを、異種の医療データ上でVLMを訓練する際に比較する。
• 継続学習での壊滅的忘却を軽減するためリプレイバッファを用いたリハーサル学習を採用する。
• 複数のタスク（ポリップ検出、海馬、甲状腺結節など）に渡るクロスドメインポリップデータセットおよびクロスタスク医療データセットでの一般化を評価する。
• 医療概念の情報性を高めるための、LLMsおよびVLMsを活用したプロンプトベース適応について議論する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン/タスク特化型VLMは未知の医療ドメイン/タスクへ一般化できるか？
• RQ2 共同学習はドメイン間/タスク間の一般化を改善するか、またそのデータ要件は何か？
• RQ3 リハーサルを伴う継続学習は忘却を緩和し、医療ファウンデーションモデルとして競争力のある一般化を達成できるか？
• RQ4 医療ドメインへVLMを適応させる実用的なプロンプトとデータ戦略は何か？
• RQ5 ドメインシフトとタスクシフトはVLMベースの医療ファウンデーションモデルのドメイン横断およびタスク横断の性能にどのように影響するか？

主な発見

• ドメイン/タスク特化モデルはドメイン間/タスク間一般化が不十分である。
• 共同学習は一般化を高めるが、多様で大規模な異種データへのアクセスが必要である。
• 逐次的な訓練は深刻な壊滅的忘却を招き、ドメイン横断の性能を損なう。
• リプレイバッファを用いたリハーサル学習はドメイン間/タスク間一般化を大幅に改善し、しばしば一部の共同学習設定を上回る。
• リハーサルを伴う継続学習は、複数のドメインとタスクを扱える医療ファウンデーションモデルへの実用的な道を提供する。