[論文レビュー] Medical Vision Language Pretraining: A survey

Prashant Shrestha, Sanskar Amgain+3 more|arXiv (Cornell University)|Dec 11, 2023

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

この領域の医療ビジョン言語事前学習（VLP）に関する網羅的なサーベイで、医療分野の目的、アーキテクチャ、データセット、下流タスク、課題、今後の方向性を詳述します。

ABSTRACT

Medical Vision Language Pretraining (VLP) has recently emerged as a promising solution to the scarcity of labeled data in the medical domain. By leveraging paired/unpaired vision and text datasets through self-supervised learning, models can be trained to acquire vast knowledge and learn robust feature representations. Such pretrained models have the potential to enhance multiple downstream medical tasks simultaneously, reducing the dependency on labeled data. However, despite recent progress and its potential, there is no such comprehensive survey paper that has explored the various aspects and advancements in medical VLP. In this paper, we specifically review existing works through the lens of different pretraining objectives, architectures, downstream evaluation tasks, and datasets utilized for pretraining and downstream tasks. Subsequently, we delve into current challenges in medical VLP, discussing existing and potential solutions, and conclude by highlighting future directions. To the best of our knowledge, this is the first survey focused on medical VLP.

研究の動機と目的

• Scarce labeled medical data（ラベル付き医療データの不足）を受け、マルチモーダルVLPの必要性を動機づける。
• 医療VLPにおける学習目的、モデルアーキテクチャ、医療データセット、下流タスクを概観する。
• 医療VLPにおける偽陰性、非ペアデータ、時間的側面などの課題を分析する。
• 医療ビジョン言語事前学習を進化させる将来の方向性と潜在的解決策を概説する。

提案手法

• 事前学習目的をマスク予測、対比学習、マッチング予測、ハイブリッドの4分類に整理する。
• グローバルとローカルの整合を含むモデルアーキテクチャとフュージョン戦略を論じる。
• VLPおよび下流タスクに用いられる医療データセットと評価タスクを調査し、非ペアデータの使用を含めて検討する。
• 現行手法の制約を総合的に統合し、医療VLPを強化する方向性を提案する。

Figure 1 : Various aspects of Medical Vision Language Pretraining (VLP) discussed in this paper.

実験結果

リサーチクエスチョン

• RQ1 医療ビジョン言語事前学習のために提案された学習目的とアーキテクチャは何か。
• RQ2 医療VLP手法はさまざまな下流タスクとデータセットでどのように機能するか。
• RQ3 医療VLPにおける主な課題（例：偽陰性、非ペアデータ、時間情報）は何か、どう対処できるか。
• RQ4 医療VLPの有効性と適用範囲を高める将来の方向性は何か。

主な発見

• 本サーベイは2018年以降（2023年10月まで）に公表された74件の医療VLP論文を網羅している。
• グローバルなクロスモーダル対比方法（例：ConVIRT、PubMedCLIP）とローカルアライメント手法（例：GLORIA、LRCLR、LIMITR）が医療VLPで顕著である。
• マスク、対比、マッチングの目的を組み合わせたハイブリッドな目的戦略は、個々の限界を緩和するために一般的である。
• 非ペアデータの使用と臨床レポートにおける時間情報の事前学習での重要な考慮点が特定されている。
• 偽陰性とローカル領域アライメントの改善が求められるなど、対照学習の限界や局所的医療タスクへの適用課題が指摘される。

(a) General Masked Prediction