[논문 리뷰] EyeCLIP: A visual-language foundation model for multi-modal ophthalmic image analysis

Danli Shi, Weiyi Zhang외 9명|arXiv (Cornell University)|2024. 09. 10.

Retinal Imaging and Analysis인용 수 7

한 줄 요약

EyeCLIP은 partial text가 포함된 2.77 million개가 넘는 다중 모달 안과 영상에 대해 학습된 시각–언어 기초 모델을 제안하며, 다중 시각 및 다중 모달 데이터를 활용해 광범위한 안과 및 전신 질환 작업을 수행하고, 다양한 작업에서 최첨단 성능과 적은 샷 및 제로샷 기능을 달성한다.

ABSTRACT

Early detection of eye diseases like glaucoma, macular degeneration, and diabetic retinopathy is crucial for preventing vision loss. While artificial intelligence (AI) foundation models hold significant promise for addressing these challenges, existing ophthalmic foundation models primarily focus on a single modality, whereas diagnosing eye diseases requires multiple modalities. A critical yet often overlooked aspect is harnessing the multi-view information across various modalities for the same patient. Additionally, due to the long-tail nature of ophthalmic diseases, standard fully supervised or unsupervised learning approaches often struggle. Therefore, it is essential to integrate clinical text to capture a broader spectrum of diseases. We propose EyeCLIP, a visual-language foundation model developed using over 2.77 million multi-modal ophthalmology images with partial text data. To fully leverage the large multi-modal unlabeled and labeled data, we introduced a pretraining strategy that combines self-supervised reconstructions, multi-modal image contrastive learning, and image-text contrastive learning to learn a shared representation of multiple modalities. Through evaluation using 14 benchmark datasets, EyeCLIP can be transferred to a wide range of downstream tasks involving ocular and systemic diseases, achieving state-of-the-art performance in disease classification, visual question answering, and cross-modal retrieval. EyeCLIP represents a significant advancement over previous methods, especially showcasing few-shot, even zero-shot capabilities in real-world long-tail scenarios.

연구 동기 및 목표

• 안과 질환 진단을 위한 단일 모달을 넘어 다중 모달 통합의 필요성을 제기한다.
• 대규모 다중 모달 비지도 및 지도 데이터를 단일 시각-언어 모델과 함께 활용한다.
• 자체 지도 재구성, 다중 모달 영상 대비 학습, 영상-텍스트 대비 학습을 결합하는 사전 학습 전략을 개발한다.

제안 방법

• partial text 데이터가 포함된 2.77 million개 이상의 다중 모달 안과 영상에서 EyeCLIP를 사전 학습한다.
• 자체 지도 재구성과 다중 모달 영상 대비 학습을 결합한다.
• 영상-텍스트 대비 학습을 도입해 시각적 표현과 텍스트 표현을 정렬한다.
• 다양한 안과 모달리티 간의 공유 표현을 학습해 다운스트림 작업을 지원한다.
• 전이 성능을 평가하기 위해 14개의 벤치마크 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 다중 시각-다중 모달 안과 데이터를 (이미지와 부분 텍스트) 다 fuse하여 다양한 진단 작업에 효과적으로 사용할 수 있는 시각-언어 기초 모델이 있는가?
• RQ2 자체 지도 학습, 교차 모달 대비 학습, 영상-텍스트 정합으로 다운스트림 안과 분류, VQA, 교차 모달 검색의 성능이 개선되며 소수/제로샷 시나리오를 포함하는가?

주요 결과

• EyeCLIP은 14개의 벤치마크 데이터셋에서 질환 분류, 시각 질문 응답(VQA), 교차 모달 검색에 대해 최첨단 성능을 달성한다.
• 모델은 장기 분포의 현실적 시나리오에서 소샷 및 제로샷 기능을 입증한다.
• 비지도 및 지도 데이터를 단일한 사전 학습 전략을 통해 활용하여 모달리티와 질환 간 일반화를 향상시킨다.
• EyeCLIP은 안과 외의 눈에 보이는 질환 및 전신 질환 태스크로의 효과적인 전이를 보인다.