[論文レビュー] Open-Ended Medical Visual Question Answering Through Prefix Tuning of Language Models

Tom van Sonsbeek, Mohammad Mahdi Derakhshani+3 more|arXiv (Cornell University)|Mar 10, 2023

Multimodal Machine Learning Applications被引用数 11

ひとこと要約

本論文は、視覚情報をプレフィックスへ変換するマッピングと、プレフィックス/LoRAベースのパラメータ効率的チューニングを用いて回答を生成する、オープンエンドの医療VQAアプローチを提案し、Slake、OVQA、PathVQAで高い成果を示している。

ABSTRACT

Medical Visual Question Answering (VQA) is an important challenge, as it would lead to faster and more accurate diagnoses and treatment decisions. Most existing methods approach it as a multi-class classification problem, which restricts the outcome to a predefined closed-set of curated answers. We focus on open-ended VQA and motivated by the recent advances in language models consider it as a generative task. Leveraging pre-trained language models, we introduce a novel method particularly suited for small, domain-specific, medical datasets. To properly communicate the medical images to the language model, we develop a network that maps the extracted visual features to a set of learnable tokens. Then, alongside the question, these learnable tokens directly prompt the language model. We explore recent parameter-efficient fine-tuning strategies for language models, which allow for resource- and data-efficient fine-tuning. We evaluate our approach on the prime medical VQA benchmarks, namely, Slake, OVQA and PathVQA. The results demonstrate that our approach outperforms existing methods across various training settings while also being computationally efficient.

研究の動機と目的

• 分類ベースの手法のクローズドセット制約を克服するため、オープンエンドの医療VQAを動機づける。
• 画像と質問を条件として自由形式の回答を生成するために、事前学習済み言語モデルを活用する。
• 言語モデルへ視覚情報を伝える軽量な視覚-to-prefixネットワークを開発する。
• 小規模でドメイン特化した医療データセットへ適応するために、パラメータ効率の高い微調整戦略を探索する。
• 計算効率を保ちつつ、複数の医療VQAベンチマークで有効性を示す。

提案手法

• 事前学習済みの視覚エンコーダで画像をエンコードし、言語モデルが参照できる視覚プレフィックスへ視覚特徴をマッピングする。
• 2ストリームのエンコーダ（画像と質問）を用い、因果的言語トランスフォーマーをデコーダとして自己回帰的に回答を生成する。
• 質問、コンテキスト（視覚プレフィックス）、回答トークンを組み込んだ構造化されたプロンプトを構築して生成を誘導する。
• Frozen、Prompt Tuning、Prefix Tuning、LoRAなどのパラメータ効率的戦略でモデルのごく一部のみを微調整する。
• LoRAの場合、バックボーンを凍結したままクエリと値の射影へ学習可能な低秩行列を注入する。
• GPT2ファミリーモデル（GPT2、BioGPT、BioMedLM）を横断的に評価し、凍結、プロンプト、プレフィックス、LoRA設定を比較する。

実験結果

リサーチクエスチョン

• RQ1 生成型言語モデルを用いて、医療分野でオープンエンドの視覚質問応答を効果的に実現できるか。
• RQ2 パラメータ効率の高い微調整戦略は、小規模な医療VQAデータセットで大規模言語モデルを効果的に適応させられるか。
• RQ3 異なる言語モデル（一般的 vs. 生物医療）とプロンプティング/微調整戦略が、オープンエンドの医療VQA性能にどのように影響するか。
• RQ4 VQAをオープンエンド生成として扱うことは、精度や不均衡な回答の扱いの点で、従来の分類ベース手法より有利となるか。

主な発見

• プレフィックス調整と視覚プレフィックスを用いるオープンエンドVQAは、Slake、OVQA、PathVQAにおいて、複数の指標で従来の分類ベース手法を上回る。
• LoRAベースの微調整は、一般にデータセットと指標全体で最も強い改善をもたらし、プレフィックス/プロンプトを上回ることが多い。特に大規模な医療VQAベンチマークで顕著。
• LoRAを組み込んだGPT2ベースのモデルは、広範な事前学習とより良い一般化のため、医学特化モデル（BioGPT、BioMedLM）を上回ることがある。
• CLIPベースの視覚埋め込みを使用することは医療VQAに有効で、固定回答セットよりオープンエンド生成をサポートする。
• PathVQAにおいて、オープンエンド手法は一部の分類手法が享受するクラス不均衡の利点を特に緩和する。