[論文レビュー] EyeCLIP: A visual-language foundation model for multi-modal ophthalmic image analysis

Danli Shi, Weiyi Zhang+9 more|arXiv (Cornell University)|Sep 10, 2024

Retinal Imaging and Analysis被引用数 7

ひとこと要約

EyeCLIPは、部分テキストを伴う2.77 millionのマルチモーダルな眼科画像を用いて視覚–言語基盤モデルを提案し、マルチビュー、マルチモーダルデータを活用して広範な眼科および全身疾患タスクに対応し、タスク全体で最先端の性能と少数-shot/ゼロ-shot能力を達成します。

ABSTRACT

Early detection of eye diseases like glaucoma, macular degeneration, and diabetic retinopathy is crucial for preventing vision loss. While artificial intelligence (AI) foundation models hold significant promise for addressing these challenges, existing ophthalmic foundation models primarily focus on a single modality, whereas diagnosing eye diseases requires multiple modalities. A critical yet often overlooked aspect is harnessing the multi-view information across various modalities for the same patient. Additionally, due to the long-tail nature of ophthalmic diseases, standard fully supervised or unsupervised learning approaches often struggle. Therefore, it is essential to integrate clinical text to capture a broader spectrum of diseases. We propose EyeCLIP, a visual-language foundation model developed using over 2.77 million multi-modal ophthalmology images with partial text data. To fully leverage the large multi-modal unlabeled and labeled data, we introduced a pretraining strategy that combines self-supervised reconstructions, multi-modal image contrastive learning, and image-text contrastive learning to learn a shared representation of multiple modalities. Through evaluation using 14 benchmark datasets, EyeCLIP can be transferred to a wide range of downstream tasks involving ocular and systemic diseases, achieving state-of-the-art performance in disease classification, visual question answering, and cross-modal retrieval. EyeCLIP represents a significant advancement over previous methods, especially showcasing few-shot, even zero-shot capabilities in real-world long-tail scenarios.

研究の動機と目的

• 単一モダリティを超えた眼科疾患診断のための多モーダル統合を動機づける。
• 統一された視覚–言語モデルを用いて大規模な多モーダル未ラベルデータおよびラベル付きデータを活用する。
• 自己教師付き再構成、マルチモーダル画像対比学習、画像–テキスト対比学習を組み合わせた事前学習戦略を開発する。

提案手法

• EyeCLIPを、部分テキストデータを伴う2.77 millionを超える多モーダル眼科画像で事前訓練する。
• 自己教師付き再構成と多モーダル画像対比学習を組み合わせる。
• 視覚表現とテキスト表現を整合させるために画像-テキスト対比学習を組み込む。
• 下流タスクを支えるために複数の眼科モダリティにまたがる共有表現を学習する。
• 眼科および全身疾患タスクへの移行を評価するために14のベンチマークデータセットで評価する。

実験結果

リサーチクエスチョン

• RQ1 視覚–言語基盤モデルは、様々な診断タスクのために、マルチビュー・マルチモーダル眼科データ（画像と部分テキスト）を効果的に統合できるか？
• RQ2 自己監視、クロスモーダル対比学習、および画像-テキスト整合を用いた事前訓練は、少数-shot/ゼロ-shotのシナリオを含む下流の眼科分類、VQA、クロスモーダル検索の性能を改善するか？

主な発見

• EyeCLIPは、14のベンチマークデータセットにおいて疾患分類、視覚質問応答、およびクロスモーダル検索で最先端の性能を達成する。
• 長尾分布の実世界シナリオにおいて few-shot および zero-shot の能力を示す。
• このアプローチは統一された事前訓練戦略を通じて未ラベルデータとラベル付きデータの両方を活用し、モダリティと疾患を超えた一般化を向上させる。
• EyeCLIPは眼科を超える眼球および全身疾患タスクへの効果的な移行を示す。