[論文レビュー] PromptMRG: Diagnosis-Driven Prompts for Medical Report Generation

Haibo Jin, Haoxuan Che+2 more|arXiv (Cornell University)|Aug 24, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

PromptMRGは、病気分類ブランチとトークンベースのプロンプトを統合することで、テキスト生成をガイドする診断指向型プロンプトフレームワークを提案する。クロスモダリティ特徴強化と自己適応的疾患バランス学習を組み合わせることで、クラス不均衡を緩和し、2つのベンチマークで最先端の臨床効果性能を達成した。

ABSTRACT

Automatic medical report generation (MRG) is of great research value as it has the potential to relieve radiologists from the heavy burden of report writing. Despite recent advancements, accurate MRG remains challenging due to the need for precise clinical understanding and disease identification. Moreover, the imbalanced distribution of diseases makes the challenge even more pronounced, as rare diseases are underrepresented in training data, making their diagnostic performance unreliable. To address these challenges, we propose diagnosis-driven prompts for medical report generation (PromptMRG), a novel framework that aims to improve the diagnostic accuracy of MRG with the guidance of diagnosis-aware prompts. Specifically, PromptMRG is based on encoder-decoder architecture with an extra disease classification branch. When generating reports, the diagnostic results from the classification branch are converted into token prompts to explicitly guide the generation process. To further improve the diagnostic accuracy, we design cross-modal feature enhancement, which retrieves similar reports from the database to assist the diagnosis of a query image by leveraging the knowledge from a pre-trained CLIP. Moreover, the disease imbalanced issue is addressed by applying an adaptive logit-adjusted loss to the classification branch based on the individual learning status of each disease, which overcomes the barrier of text decoder's inability to manipulate disease distributions. Experiments on two MRG benchmarks show the effectiveness of the proposed method, where it obtains state-of-the-art clinical efficacy performance on both datasets. The code is available at https://github.com/jhb86253817/PromptMRG.

研究の動機と目的

• 既存の医療レポート生成（MRG）モデルでは、言語としての流暢さは高いものの、臨床的に正しいレポートを生成できないという問題を是正すること。
• 現在のMRGシステムでデータの不均衡と診断信頼性の低さに苦しむ希少疾患の性能を向上させること。
• 専用の分類ブランチからの診断予測を明示的に用いて、レポート生成をガイドすることで、MRGモデルと臨床的ニーズのギャップを埋めること。
• テキストデコーダーが疾患分布を制御できないという問題を克服するため、クラス不均衡学習に適応的損失機構を導入すること。

提案手法

• 入力画像ごとに診断予測を生成する追加の疾患分類ブランチを備えた、二重ブランチ型エンコーダデコーダアーキテクチャを採用する。
• 診断指向型プロンプト（DDP）は、分類結果をトークンプロンプトに変換し、デコーダーに埋め込んで、明示的な診断的文脈をもとにレポート生成をガイドする。
• クロスモダリティ特徴強化（CFE）は、事前学習済みのCLIPモデルを活用してデータベースから類似した画像レポートペアを検索し、動的集約によってクエリ画像の特徴を強化する。
• 自己適応的疾患バランス学習（SDL）は、分類ブランチに適応的ロジット補正損失を適用し、各疾患の個別学習状態に応じて最適化目標を調整する。
• これらのモジュールをエンドツーエンドで統合し、言語的に流暢でありながら、診断的にも正確なレポートの生成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 診断指向型プロンプトは、医療レポート生成モデルの臨床的有効性を向上させることができるか？
• RQ2 CLIPを用いたクロスモダリティ特徴強化は、疾患分類とレポート生成の精度をどのように向上させるか？
• RQ3 自己適応的損失訓練は、不均衡なMRGデータセットにおける希少疾患の性能低下を効果的に緩和できるか？
• RQ4 診断分類とレポート生成を統合することで、標準的なMRG手法よりも、真の臨床所見と整合性の高いレポートが得られるか？

主な発見

• PromptMRGは、MIMIC-CXRおよびNIH ChestX-rayデータセットの両方で、最先端の臨床的有効性（CE）性能を達成し、既存のSOTA手法を上回った。
• トークンプロンプトの使用により、ベースライン比でF1スコアが6.4%絶対値で向上し、テキストおよび特徴プロンプトを著しく上回った。
• 希少疾患ではSDLモジュールのおかげで平均でF1スコアが8%向上し、一部の疾患では12%以上向上した。
• 最も希少な疾患のF1スコアは著しく上昇したが、平均F1スコアはわずか1.2%上昇にとどまったことから、標準的な指標が希少疾患のパフォーマンスを低く評価している可能性があることが示された。
• CFEモジュールは、CLIPを用いて意味的・視覚的に類似したレポートを検索することで、診断精度を向上させ、分類に適した特徴表現を強化した。
• 明示的な診断プロンプトの重要性が示された。特徴および埋め込みプロンプトは、トークンプロンプトに劣っており、構造的な診断入力を通して入力品質を向上させる必要性が浮き彫りになった。