[論文レビュー] Effectively Fine-tune to Improve Large Multimodal Models for Radiology Report Generation

Yuzhe Lu, Sungmin Hong+2 more|arXiv (Cornell University)|Dec 3, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文は、ソフトビジョナルプロンプトを介して視覚的特徴をテキスト埋め込み空間にアライニングすることで、レントゲン画像報告生成のための大型マルチモodalモデルを向上させる二段階微調整戦略を提案する。この手法を用いてOpenLLaMA-7Bを適用したモデルは、ドメイン固有の事前学習を一切行わずに最先端の性能を達成し、F1-CheXBertスコアで事実の正確性が顕著に向上した。

ABSTRACT

Writing radiology reports from medical images requires a high level of domain expertise. It is time-consuming even for trained radiologists and can be error-prone for inexperienced radiologists. It would be appealing to automate this task by leveraging generative AI, which has shown drastic progress in vision and language understanding. In particular, Large Language Models (LLM) have demonstrated impressive capabilities recently and continued to set new state-of-the-art performance on almost all natural language tasks. While many have proposed architectures to combine vision models with LLMs for multimodal tasks, few have explored practical fine-tuning strategies. In this work, we proposed a simple yet effective two-stage fine-tuning protocol to align visual features to LLM's text embedding space as soft visual prompts. Our framework with OpenLLaMA-7B achieved state-of-the-art level performance without domain-specific pretraining. Moreover, we provide detailed analyses of soft visual prompts and attention mechanisms, shedding light on future research directions.

研究の動機と目的

• ドメイン固有の事前学習を一切行わない状態で、大規模言語モデル（LLMs）を用いたレントゲン画像報告生成の臨床的正確性を向上させること。
• マルチモーダル生成の文脈で、視覚的特徴をLLMsのテキスト埋め込み空間に効果的にアライニングする課題に対処すること。
• 一般的な実践とは対照的に、視覚エンコーダーの微調整が、固定する場合と比較して性能向上に寄与するかどうかを検証すること。
• 大規模モデル内のアテンションメカニズムを分析し、視覚入力へのその接地性を理解すること。
• 市販のLLMsを医療報告生成に活用するための実用的でスケーラブルなフレームワークを提供すること。

提案手法

• 視覚エンコーダーから得られる視覚的特徴を、因果的言語モデルの埋め込み次元にマップするための軽量なマッピングネットワークを、単一のトランスフォーマー・デコーダー層として実装する。
• マッピングネットワークは、225個の視覚的トークンを10個に削減するアテンションプールと、言語モデルの埋め込みサイズに一致させる特徴マッピングの両方を実行する。
• マッピングされた視覚的特徴は、ソフトビジョナルプロンプトとして扱われ、言語モデルの自己回帰的生成プロセスに条件付けられる。
• 二段階微調整プロトコルを導入する：まずマッピングネットワークをウォームアップし、その後、LLMを固定したまま視覚エンコーダーとマッピングネットワークを共同で微調整する。
• 各生成トークンが視覚的プロンプトにどの程度注目しているかを測るため、層およびサンプル間でアテンション重みを正規化・平均化する。
• F1-CheXBert指標を用いて、モデルが生成した報告書と正解との比較を通じて、事実の完全性を評価する。

Figure 1: We observed that fine-tuning the visual encoder together with the remaining model components consistently improves F1-CXB14 score.

実験結果

リサーチクエスチョン

• RQ1 視覚エンコーダーを微調整することは、固定する場合と比較して、レントゲン画像報告生成の性能向上に寄与するか？
• RQ2 異なるサイズの大規模言語モデルにおいて、ソフトビジョナルプロンプトへのアテンション割り当てはどのように変化するか？
• RQ3 二段階微調整プロトコルは、LLMベースの報告生成における事実の正確性と臨床的有効性を向上させることができるか？
• RQ4 GPT2からOpenLLaMA-7Bにスケーリングすることで性能向上が止まるのは、なぜか？（妥当損失は低下しているが）
• RQ5 大規模LLMがレントゲン画像報告を生成する際、視覚的入力にどの程度接地しているか？

主な発見

• 二段階微調整戦略により、全モデルサイズにおいてF1-CheXBert-14スコアが平均1.9ポイント向上した。
• OpenLLaMA-7Bは、MIMIC-CXRデータの2倍の量にアクセスし、ドメイン固有の事前学習が施されたBioVIL-Tを上回った。
• OpenLLaMA-7Bは、GPT2のような小型モデルと比較して、ソフトビジョナルプロンプトへの注目度が著しく低く、大規模モデルにおける視覚的接地性が弱いことを示唆している。
• OpenLLaMA-7Bを用いた場合、生成された報告書同士の平均類似度が上昇した。これは、言語モデルの損失関数だけでは、クラスごとの視覚的特徴を分離できていないことを示している。
• ドメイン固有の事前学習を一切行わずに、NLGおよび臨床的評価指標の両方で最先端の性能を達成した。
• アテンション重みの可視化により、OpenLLaMA-7Bのような大規模LLMは視覚的プロンプトにあまり依存していないことが確認され、マルチモーダルアライニングにおける主な課題が浮き彫りになった。

Figure 2: We visualize the average attention weights allocated to the visual prompts across all attention layers. One critical observation is that OpenLLaMA-7B gives much less attention to soft visual prompts than smaller GPT2 models. This suggests that OpenLLaMA-7B, and potentially larger language