[논문 리뷰] Towards General Purpose Medical AI: Continual Learning Medical Foundation Model

Huahui Yi, Ziyuan Qin외 6명|arXiv (Cornell University)|2023. 03. 12.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

이 논문은 비전-언어 모델을 의료 기초 모델로서 도메인 및 작업 변화에 걸쳐 평가하고, 리허설 버퍼를 활용한 지속 학습이 교차 도메인/교차 작업 일반화를 개선하고 파국적 망각을 완화함을 보여준다.

ABSTRACT

Inevitable domain and task discrepancies in real-world scenarios can impair the generalization performance of the pre-trained deep models for medical data. Therefore, we audaciously propose that we should build a general-purpose medical AI system that can be seamlessly adapted to downstream domains/tasks. Since the domain/task adaption procedures usually involve additional labeling work for the target data, designing a data-efficient adaption algorithm is desired to save the cost of transferring the learned knowledge. Our recent work found that vision-language models (VLMs) are efficient learners with extraordinary cross-domain ability. Therefore, in this work, we further explore the possibility of leveraging pre-trained VLMs as medical foundation models for building general-purpose medical AI, where we thoroughly investigate three machine-learning paradigms, i.e., domain/task-specialized learning, joint learning, and continual learning, for training the VLMs and evaluate their generalization performance on cross-domain and cross-task test sets. To alleviate the catastrophic forgetting during sequential training, we employ rehearsal learning and receive a sharp boost in terms of generalization capability. In a nutshell, our empirical evidence suggests that continual learning may be a practical and efficient learning paradigm for the medical foundation model. And we hope researchers can use our empirical evidence as basement to further explore the path toward medical foundation model.

연구 동기 및 목표

• 다양한 도메인에 적응 가능한 일반 목적의 의료 AI 시스템을 과도한 라벨링 없이 제공.
• 의료 VLM에 대해 세 가지 학습 패러다임(도메인/작업 특화, 공동 학습, 지속 학습)을 조사.
• 의료 영상 작업에서 VLM의 교차 도메인 및 교차 작업 일반화를 평가.
• 지속 학습 중 파국적 망각을 완화하기 위한 메커니즘(리허설/재생)을 식별.

제안 방법

• 텍스트 프롬프트를 활용한 의료 기자재 모델로서 사전 학습된 비전-언어 모델(VLM)을 의료 기초 모델로 활용.
• 이질적 의료 데이터에 대해 도메인/작업 특화, 공동 학습, 지속 학습 패러다임을 비교.
• 지속 학습에서 파국적 망각을 완화하기 위해 재생 버퍼를 이용한 리허설 학습 채택.
• 여러 작업(폴립 검출, 해마, 갑상선 결절 등)에서 교차 도메인 폴립 데이터셋과 교차 작업 의료 데이터셋에 대한 일반화 평가.
• 의료 개념에 대해 정보성 프롬프트를 생성하기 위해 LLM과 VLM을 활용한 프롬프트 기반 적응 논의

실험 결과

연구 질문

• RQ1 도메인/작업 특화 VLM이 보지 못한 의료 도메인/작업에 일반화할 수 있는가?
• RQ2 공동 학습이 교차 도메인/교차 작업 일반화를 향상시키는가, 그리고 이를 위한 데이터 요건은 무엇인가?
• RQ3 리허설을 이용한 지속 학습이 망각을 완화하고 의료 기초 모델의 일반화에 경쟁력 있는 성능을 달성할 수 있는가?
• RQ4 의료 도메인에 VLM을 적응시키기 위한 실용적인 프롬프트와 데이터 전략은 무엇인가?
• RQ5 도메인 이동과 작업 이동이 VLM 기반의 의료 기초 모델의 교차 도메인/교차 작업 성능에 어떤 영향을 미치는가?

주요 결과

• 도메인/작업 특화 모델은 교차 도메인/교차 작업 일반화가 낮다.
• 공동 학습은 일반화를 향상시키지만 다양하고 큰 이질적 데이터에 대한 접근이 필요하다.
• 순차적 학습은 심각한 파국적 망각을 초래하여 교차 도메인 성능을 저해한다.
• 리허설 학습과 재생 버퍼는 교차 도메인/교차 작업 일반화를 크게 향상시키며, 때로는 일부 공동 학습 구성보다도 우수하다.
• 리허설을 활용한 지속 학습은 여러 도메인과 작업을 처리할 수 있는 의료 기초 모델에 대한 실용적인 경로를 제공한다.