[論文レビュー] Self-supervised vision-language pretraining for Medical visual question answering

Pengfei Li, Gang Liu+3 more|arXiv (Cornell University)|Nov 24, 2022

Multimodal Machine Learning Applications被引用数 10

ひとこと要約

本論文は、医療画像のキャプションを用いて、マスクされた画像モデリング、マスクされた言語モデリング、画像・テキストマッチング、対照的アライメントを統合的に最適化する自己教師ありビジョン・ランゲージ事前学習手法 M2I2 を提案する。この手法は、3つの公的医療VQAベンチマークで最先端の性能を達成し、限られたアノテート済みデータでも一般化性能が向上することを示している。

ABSTRACT

Medical image visual question answering (VQA) is a task to answer clinical questions, given a radiographic image, which is a challenging problem that requires a model to integrate both vision and language information. To solve medical VQA problems with a limited number of training data, pretrain-finetune paradigm is widely used to improve the model generalization. In this paper, we propose a self-supervised method that applies Masked image modeling, Masked language modeling, Image text matching and Image text alignment via contrastive learning (M2I2) for pretraining on medical image caption dataset, and finetunes to downstream medical VQA tasks. The proposed method achieves state-of-the-art performance on all the three public medical VQA datasets. Our codes and models are available at https://github.com/pengfeiliHEU/M2I2.

研究の動機と目的

• 医療視覚質問応答（VQA）における限られたアノテート済みデータの課題に対処し、モデルの一般化性能を向上させること。
• 医療画像における視覚と言語の表現を効果的にアライメントする自己教師あり事前学習フレームワークを開発すること。
• 医療画像キャプションデータ上で複数の事前学習目的を統合的に最適化することで、下流の医療VQAパフォーマンスを向上させること。
• 人間がアノテートしたVQAペアにほとんど依存しない、pretrain-fine-tuneパラダイムに基づく強力なベースラインを確立すること。

提案手法

• 本手法は、事前学習中に破損させたパッチを医療画像から再構築するためのマスクされた画像モデリング（MIM）を採用する。
• 臨床的質問および回答の記述におけるマスクされたトークンを再構築するために、マスクされた言語モデリング（MLM）を適用する。
• 画像とテキストのペアがポジティブかネガティブかを予測するために、画像・テキストマッチング（ITM）を用いる。
• 対照的学習（CL）を適用し、ポジティブペア間の整合性を最大化し、ネガティブペア間の整合性を最小化することで、画像とテキストの埋め込みをアライメントする。
• MIM、MLM、ITM、CL の4つの目的が、医療画像キャプションデータ上で統合されたM2I2フレームワークで同時に最適化される。
• 事前学習モデルは、最小限の変更で下流の医療VQAデータセット上で微調整される。

実験結果

リサーチクエスチョン

• RQ1 複数の対照的およびマスクモデリング目的を用いた自己教師あり事前学習が、ラベル付きデータが限られた医療VQAでパフォーマンスを向上させるか。
• RQ2 視覚・言語の目的（MIM、MLM、ITM、CL）を統合的に最適化することは、医療VQAのための汎用的表現を学習するのにどの程度効果的か。
• RQ3 提案されたM2I2フレームワークは、標準的な医療VQAベンチマークで既存のビジョン・ランゲージ事前学習手法を上回るか。
• RQ4 医療画像キャプションでの事前学習が、下流のVQAタスクにどの程度一般化されるか。

主な発見

• M2I2手法は、本研究で評価された3つの公的医療VQAベンチマークすべてで最先端のパフォーマンスを達成した。
• 特にデータが少ない環境でも、効果的な自己教師あり事前学習のおかげで、既存手法よりも顕著な向上が見られた。
• アブレーションスタディにより、MIM、MLM、ITM、CL の4つの事前学習目的すべてが最終的なVQAパフォーマンス向上に寄与していることが確認された。
• 多様な臨床的質問タイプにわたり、良好な一般化性能を示しており、強固な視覚・言語理解能力を有していることが示された。