[논문 리뷰] GSCo: Towards Generalizable AI in Medicine via Generalist-Specialist Collaboration

Sunan He, Yuxiang Nie외 22명|arXiv (Cornell University)|2024. 04. 23.

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 진단 유도 부트스트랩 기반으로 의료 영상과 레이블에서 고품질의 시각-언어 데이터를 생성하는 일반-전문가 협업 프레임워크인 GSCo를 제안한다. 다양한 모odalities(영상진단, 병리, 피부과 등)에서 훈련된 일반기초 모델인 MedDr을 도입하고, 검색 기반 추론 전략을 통해 일반화 능력을 향상시켜 의료 VQA, 보고서 생성, 영상 진단 작업에서 최신 기술 수준(SOTA) 성능을 달성한다. 특히 희귀 질환에 대해 뛰어난 성능을 보인다.

ABSTRACT

Generalist foundation models (GFMs) are renowned for their exceptional capability and flexibility in effectively generalizing across diverse tasks and modalities. In the field of medicine, while GFMs exhibit superior generalizability based on their extensive intrinsic knowledge as well as proficiency in instruction following and in-context learning, specialist models excel in precision due to their domain knowledge. In this work, for the first time, we explore the synergy between the GFM and specialist models, to enable precise medical image analysis on a broader scope. Specifically, we propose a cooperative framework, Generalist-Specialist Collaboration (GSCo), which consists of two stages, namely the construction of GFM and specialists, and collaborative inference on downstream tasks. In the construction stage, we develop MedDr, the largest open-source GFM tailored for medicine, showcasing exceptional instruction-following and in-context learning capabilities. Meanwhile, a series of lightweight specialists are crafted for downstream tasks with low computational cost. In the collaborative inference stage, we introduce two cooperative mechanisms, Mixture-of-Expert Diagnosis and Retrieval-Augmented Diagnosis, to harvest the generalist's in-context learning abilities alongside the specialists' domain expertise. For a comprehensive evaluation, we curate a large-scale benchmark featuring 28 datasets and about 250,000 images. Extensive results demonstrate that MedDr consistently outperforms state-of-the-art GFMs on downstream datasets. Furthermore, GSCo exceeds both GFMs and specialists across all out-of-domain disease diagnosis datasets. These findings indicate a significant paradigm shift in the application of GFMs, transitioning from separate models for specific tasks to a collaborative approach between GFMs and specialists, thereby advancing the frontiers of generalizable AI in medicine.

연구 동기 및 목표

• 일반기초 시각-언어 모델을 훈련하기 위한 고품질이고 다양한 의료 영상-텍스트 데이터셋의 부족 문제를 해결하기 위해.
• 희귀 또는 미사용된 질환에 대해 특히 일반화 능력을 향상시키기 위해 의료 기초 모델의 일반화 능력을 향상시키기 위해.
• 영상진단, 병리, 피부과, 망막도금, 내 endoscopy를 포함한 다양한 의료 영상 모달리티를 처리할 수 있는 통합 일반기초 모델을 개발하기 위해.
• 외부 지식을 활용하는 검색 기반 의료 진단 전략을 통해 추론의 신뢰성을 향상시키기 위해.
• Fine-tuning을 적용하지 않은 상황에서 Retrieval-Augmented Generation(RAG)의 효과성과 유용성을 입증하기 위해, 이 분야에서 새로운 응용 사례로 적용한다.

제안 방법

• 이미지-레이블 쌍에서 시각적 콘텐츠와 일치하는 텍스트 일致성을 확보하기 위해 사전 훈련된 시각-언어 모델을 사용하여 세부적인 의료 보고서(소견 및 결론)를 생성하는 진단 유도 부트스트랩 방법을 제안한다.
• 기존 의료 영상 데이터셋의 레이블 수준 애너테이션을 활용하여 대규모 다중 모달 의료 시각-언어 데이터셋을 구축하고, 간단한 캡션을 넘어서 풍부한 텍스트 기술을 강화한다.
• 다양한 의료 영상 작업과 모달리티에서 제로샷 또는 희소샷 적응이 가능한 일반기초 기초 모델인 MedDr을 구축된 데이터셋으로 훈련시킨다.
• 추론 중에 가장 유사한 상위-k개의 이미지와 그 애너테이션을 검색하여 모델 예측을 안내하고 개선하는 검색 기반 추론 전략을 도입한다.
• Fine-tuning 없이도 안정성과 정확도를 향상시키기 위해 간단한 유사도 기반 검색 메커니즘(예: CLIP 임베딩)을 사용하여 관련 예시를 검색한다. 이는 특히 희귀 질환에 대해 유리하다.
• 최종 예측을 생성하기 위해 검색된 보고서를 투표하거나 연결하는 방식을 활용하여 신뢰성 향상과 환상 감소를 도모한다. 이는 의료 보고서 생성 및 진단에서 특히 효과적이다.

실험 결과

연구 질문

• RQ1 이미지-레이블 쌍에서 진단 유도 데이터 생성이 텍스트 중심 방법보다 더 높은 품질과 더 높은 일관성을 가진 시각-언어 데이터셋을 생성할 수 있는가?
• RQ2 이러한 데이터셋으로 훈련된 일반기초 기초 모델이 영상진단, 병리, 피부과, 망막도금, 내 endoscopy를 포함한 다양한 의료 영상 모달리티로 일반화될 수 있는가?
• RQ3 검색 기반 추론이 희귀 또는 미사용된 질환에 대해 의료 시각-언어 모델의 정확도와 일반화 능력을 뚜렷이 향상시키는가?
• RQ4 Fine-tuning을 적용하지 않은 상황에서 의료 기초 모델의 맥락에서 Retrieval-Augmented Generation(RAG)의 적용이 효과적이고 유용한가?
• RQ5 검색 기반 추론을 강화한 일반기초 모델의 성능은 희귀 질환 진단에서 전문가 모델과 비교해 어떻게 되는가?

주요 결과

• MedDr은 훈련 세트에 포함되지 않은 BreastMNIST 데이터셋에서 87.8%의 정확도를 기록하며, 전문가 모델의 86.3% 정확도를 초월하여 분포 외 데이터에 대해서도 강력한 일반화 능력을 입증한다.
• 검색 기반 추론을 적용한 MedDr은 훈련 세트에 포함되지 않은 BloodMNIST 데이터셋에서 95.5%의 정확도를 기록하여 희귀 질환에 대한 뛰어난 내성성을 보여준다.
• MIMIC-CXR 벤치마크에서 MedDr은 RadFM이 일반적으로 정상 상태 기술로 수렴하는 데 비해 정상 및 비정상 소견을 모두 포함하는 더 포괄적인 보고서를 생성한다.
• 검색 기반 추론 전략은 시각질의 응답, 의료 보고서 생성, 영상 진단 등 평가된 모든 작업에서 성능 향상을 이끌어내며, 검색 기반 없이 훈련된 MedDr과 비교해도, 검색 기반으로 훈련된 Med-Flamingo보다도 뛰어난 성능을 보인다.
• 투표 기반 검색 전략은 여러 데이터셋에서 기준 방법보다 높은 지표를 기록하여, 검색된 예시의 품질과 관련성의 높음을 시사한다.
• 정성 분석 결과, 특히 비정상 소견을 식별하고 기술하는 데서 RadFM과 같은 전문가 모델보다 MedDr이 더 정확하고 맥락이 풍부한 보고서를 생성하는 것으로 나타났다.