[論文レビュー] RAMM: Retrieval-augmented Biomedical Visual Question Answering with Multi-modal Pre-training

Zheng Yuan, Qiao Jin+5 more|arXiv (Cornell University)|Mar 1, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、新しい患者ベースの画像・テキストデータセット（PMCPM）とリトリーブ・アテンション機構を活用して、限られた生物医学的VQAデータ上で性能を向上させる、リトリーブ拡張型の生物医学的視覚質問応答フレームワークであるRAMMを提案する。対照的表現学習を用いてPubMedから意味的に類似した画像・テキストペアをリトリーブし、新規のアテンションモジュールで統合することで、RAMMはMed-VQA2019、Med-VQA2021、VQARAD、SLAKEで最先端の結果を達成し、それぞれ82.13、39.20、78.27、86.05のスコアを記録した。

ABSTRACT

Vision-and-language multi-modal pretraining and fine-tuning have shown great success in visual question answering (VQA). Compared to general domain VQA, the performance of biomedical VQA suffers from limited data. In this paper, we propose a retrieval-augmented pretrain-and-finetune paradigm named RAMM for biomedical VQA to overcome the data limitation issue. Specifically, we collect a new biomedical dataset named PMCPM which offers patient-based image-text pairs containing diverse patient situations from PubMed. Then, we pretrain the biomedical multi-modal model to learn visual and textual representation for image-text pairs and align these representations with image-text contrastive objective (ITC). Finally, we propose a retrieval-augmented method to better use the limited data. We propose to retrieve similar image-text pairs based on ITC from pretraining datasets and introduce a novel retrieval-attention module to fuse the representation of the image and the question with the retrieved images and texts. Experiments demonstrate that our retrieval-augmented pretrain-and-finetune paradigm obtains state-of-the-art performance on Med-VQA2019, Med-VQA2021, VQARAD, and SLAKE datasets. Further analysis shows that the proposed RAMM and PMCPM can enhance biomedical VQA performance compared with previous resources and methods. We will open-source our dataset, codes, and pretrained model.

研究の動機と目的

• 生物医学的視覚質問応答（VQA）におけるデータ不足の課題に対処すること。これは、モデルの汎化性能を制限し、過学習のリスクを高める。
• 外部の生物医学文献を活用して訓練信号を豊かにするリトリーブ拡張型事前学習・微調整パラダイムの開発。
• PubMedから抽出した高品質で患者中心の画像・テキストデータセット（PMCPM）を構築し、生物医学的マルチモodal事前学習とリトリーブを支援すること。
• 微調整段階で入力画像と質問、およびリトリーブされた画像・テキストペアの表現に注目する新しいリトリーブ・アテンションモジュールの設計。
• 既存のデータセットでの標準的な微調整を超えて、多様で高品質な文献リソースからのリトリーブがVQA性能を向上させることを実証すること。

提案手法

• PubMed Centralから収集した大規模で患者ベースの画像・テキストデータセットであるPMCPMを提案。ここには多様な放射線画像とその臨床的記述が含まれる。
• 視覚的・言語的表現を整列させるために、マスクド言語モデリング、画像・テキストマッチング、画像・テキスト対照的学習（ITC）の3つの目的を用いてマルチモーダルモデルを事前学習する。
• 事前学習段階で得たITC埋め込みを用い、各VQAサンプルに対してPMCPM、ROCO、MIMIC-CXRから意味的に類似した画像・テキストペアをリトリーブする。
• 入力画像と質問、およびリトリーブされた画像・テキストペアの表現に注目するリトリーブ・アテンションモジュールを導入し、拡張された文脈表現を生成する。
• 統合された表現を用いてモデルを微調整し、回答を予測することで、リトリーブされた文献からの知識移行を可能にする。
• 動的リトリーブ数戦略を採用。アブレーション実験により、2〜4組のリトリーブペアが最適であり、過剰なリトリーブによるノイズを回避できることを確認した。

Figure 1 : Example of a similar image whose text includes helpful information for answering biomedical questions. The left part is a biomedical-related question with a provided image. The right part is a similar image in PubMed with a relevant caption that indicates the answer (text in red) to the q

実験結果

リサーチクエスチョン

• RQ1 リトリーブを用いて外部の生物医学文献を活用することで、リソースが限られた生物医学的VQAデータセットでの性能向上が可能か？
• RQ2 新たに構築された患者中心の画像・テキストデータセット（PMCPM）は、ROCO や MIMIC-CXR といった既存のデータセットと比較して、生物医学的VQAの支援においてどの程度有効か？
• RQ3 リトリーブされた画像・テキストペアをリトリーブ・アテンション機構で統合することで、標準的な微調整よりも高い回答正答率が達成できるか？
• RQ4 VQA性能を向上させるために最適なリトリーブ画像・テキストペアの数は何か？ノイズの導入を避けるためにも、この数を特定する必要がある。
• RQ5 リトリーブされたテキストに、生物医学的VQAの質問に対する答えがどの程度含まれているか？また、これは異なるデータセット間でどのように変化するか？

主な発見

• RAMMはMed-VQA2019で82.13のスコアを記録し、以前の手法を上回る最先端の性能を達成した。
• Med-VQA2021では39.20のスコアを達成し、挑戦的でオープンエンドな生物医学的VQAタスクにおいて強力な性能を示した。
• VQARADデータセットでは78.27のスコアを達成し、レントゲン画像特化のVQAタスクを効果的に処理できることを示した。
• SLAKEデータセットでは86.05のスコアを記録し、閉形式質問では91.59の高いスコアを達成した。これは、優れた汎化性能を示している。
• アブレーションスタディにより、PMCPMデータセットとリトリーブ拡張型微調整機構の両方が性能向上に顕著に寄与していることが確認された。
• PMCPMからのリトリーブにより、回答の29.6%～38.7%が直接リトリーブされたテキストに含まれており、リトリーブ戦略の有効性が裏付けられた。

Figure 2 : The workflow of our proposed retrieval-augmented paradigm RAMM for biomedical VQA. The origin image is from VQA datasets, and the other images are retrieved. Blue lines represent retrieving image-text pairs (PMCID:4061445, 2278144, 4725742, and 3616602) from PMCPM, ROCO, and MIMIC-CXR dat