[論文レビュー] MISS: A Generative Pretraining and Finetuning Approach for Med-VQA

Jiawei Chen, Dingkang Yang+3 more|arXiv (Cornell University)|Jan 10, 2024

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、視覚的質問応答（Med-VQA）のための生成的事前学習および微調整フレームワークであるMISSを提案する。このフレームワークは、分類ではなくテキスト生成タスクとしてVQAを扱う。テキストとマルチモーダルエンコーダーを統合したジョイントテキスト・マルチモーダル（JTM）エンコーダーを構築し、大規模言語モデル（LLM）を用いて未ラベル化された医療画像から合成された画像・テキストペアを生成する新しい「トランスファー・アンド・キャプション」（TransCap）手法を採用することで、限られたラベル付きマルチモーダルデータで最先端の性能を達成する。

ABSTRACT

Medical visual question answering (VQA) is a challenging multimodal task, where Vision-Language Pre-training (VLP) models can effectively improve the generalization performance. However, most methods in the medical field treat VQA as an answer classification task which is difficult to transfer to practical application scenarios. Additionally, due to the privacy of medical images and the expensive annotation process, large-scale medical image-text pairs datasets for pretraining are severely lacking. In this paper, we propose a large-scale MultI-task Self-Supervised learning based framework (MISS) for medical VQA tasks. Unlike existing methods, we treat medical VQA as a generative task. We unify the text encoder and multimodal encoder and align image-text features through multi-task learning. Furthermore, we propose a Transfer-and-Caption method that extends the feature space of single-modal image datasets using Large Language Models (LLMs), enabling those traditional medical vision field task data to be applied to VLP. Experiments show that our method achieves excellent results with fewer multimodal datasets and demonstrates the advantages of generative VQA models.

研究の動機と目的

• VLPモデルの事前学習に必要な大規模で高品質な医療画像・テキストペアの不足に対処すること。
• 従来のMed-VQAモデルが回答分類としてVQAを扱うことに起因する制限を克服し、実世界への展開を促進すること。
• 分類やセグメンテーションなどのタスクで使用される既存の単モーダル医療データセット（例：分類やセグメンテーション用）を活用し、LLMを用いてテキスト記述を生成することで、効果的な事前学習を可能にすること。
• テキストとマルチモーダル表現を統合的に学習できる統一的で効率的なエンコーダー・アーキテクチャの開発を目的とすること。
• 生成的VQAが分類ベースのアプローチに比べて医療画像応用において優れていることを実証すること。

提案手法

• テキストとマルチモーダル特徴抽出を統合した1つの共有エンコーダーとしてのジョイントテキスト・マルチモーダル（JTM）エンコーダーを提案。これにより、効率性と表現の整合性が向上する。
• 大規模言語モデル（LLM）を用いて未ラベルの単モーダル医療画像から合成された画像・テキストペアを生成する「トランスファー・アンド・キャプション」（TransCap）手法を導入。
• 事前学習段階で、画像・テキスト対照学習（ITC）、画像・テキストマッチング（ITM）、マスキング言語モデル（MLM）を組み合わせたマルチタスク学習を採用。
• 微調整段階では、標準的なデコーダーに基づく生成的設定を採用。共同特徴量とトークン化された答えが相互作用し、MLM損失を最適化する。
• 分類やセグメンテーションタスクから得られる既存の単モーダルデータセット（例：分類やセグメンテーション用）をTransCapの入力として活用し、事前学習データの分布を拡張。
• 2段階の学習パラダイムを採用：合成および実際の画像・テキストペアで事前学習を行い、その後、下流のMed-VQAベンチマークで微調整。

実験結果

リサーチクエスチョン

• RQ1 分類ベースのアプローチと比較して、Med-VQAを生成的タスクとして扱うことで、モデルの一般化性能および実世界への適用性が向上するか？
• RQ2 統一されたJTMエンコーダーは、医療VQAにおけるテキスト・マルチモーダル表現学習の効率性と品質を向上させるか？
• RQ3 LLMを用いて単モーダル医療データセットから生成された合成画像・テキストペアが、事前学習性能をどの程度向上させるか？
• RQ4 特に、限られた実際のマルチモーダルアノテーションに依存するモデルと比較して、MISSは事前学習データが限られた状況でもどの程度の性能を示すか？
• RQ5 TransCap手法は、単モーダルデータセットの特徴空間を効果的に拡張し、効果的なビジョン・ランゲージ事前学習を可能にするか？

主な発見

• MISSはMed-VQAベンチマークで最先端の性能を達成し、90,000枚の事前学習画像のみを用いてSLAKEデータセットで全体的な正答率83.0%を達成した。
• アブレーションスタディの結果、TransCapを除外すると性能が著しく低下（SLAKE上での正答率が84.51%から82.91%に低下）し、データ拡張におけるその重要性が裏付けられた。
• JTMエンコーダーを除外すると、全体の正答率が84.51%から82.82%に低下し、共同表現学習におけるその有効性が確認された。
• 特にオープンエンドド質問応答において、従来の分類ベースのMed-VQAモデルを上回り、SLAKEデータセットで81.87%の正答率を達成した。
• 事前学習データを一切使用しない（0枚）状態でも、SLAKEデータセットで50.99%の正答率を達成しており、JTMおよびTransCapコンponentsによる強いインダクティブバイアスが示された。
• 本手法はゼロショットおよびフェイントショット一般化性能に優れており、低データ医療VQAシナリオにおける潜在的応用可能性を示している。