[論文レビュー] Can Prompt Learning Benefit Radiology Report Generation?

Jun Wang, Li Zhu+2 more|arXiv (Cornell University)|Aug 30, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

本論文では、事前学習された言語モデルを用いて医療知識を微調整するプロンプト学習ベースのフレームワークであるPromptRRGを提案する。手動で設計されたプロンプトと自動で学習されたプロンプトを活用し、追加のトレーニング可能なパラメータを追加せずに、分野特異的かつ疾患に富んだ知識を効果的に統合することで、MIMIC-CXRベンチマークで最先端の性能を達成した。

ABSTRACT

Radiology report generation aims to automatically provide clinically meaningful descriptions of radiology images such as MRI and X-ray. Although great success has been achieved in natural scene image captioning tasks, radiology report generation remains challenging and requires prior medical knowledge. In this paper, we propose PromptRRG, a method that utilizes prompt learning to activate a pretrained model and incorporate prior knowledge. Since prompt learning for radiology report generation has not been explored before, we begin with investigating prompt designs and categorise them based on varying levels of knowledge: common, domain-specific and disease-enriched prompts. Additionally, we propose an automatic prompt learning mechanism to alleviate the burden of manual prompt engineering. This is the first work to systematically examine the effectiveness of prompt learning for radiology report generation. Experimental results on the largest radiology report generation benchmark, MIMIC-CXR, demonstrate that our proposed method achieves state-of-the-art performance. Code will be available upon the acceptance.

研究の動機と目的

• 臨床的に正確なレントゲン画像報告を生成する課題に取り組む。これは、深い医療知識と複雑な意味的関係を必要とする。
• プロンプト学習が、事前学習された言語モデル内の事前知識を活性化させることで、レントゲン画像報告生成を向上させられるかどうかを調査する。
• 手動によるプロンプト設計や補助的知識モジュールへの依存を減らすために、自動プロンプト学習メカニズムを導入する。
• 共通、分野特異的、疾患に富んだ知識の異なるレベルを含むプロンプトが報告品質に与える影響を体系的に評価する。

提案手法

• トレーニング可能なパラメータを追加せずに、事前学習された言語モデルからの知識をレントゲン画像報告生成に統合するためのプロンプト学習を用いる生成モデルPromptRRGを提案する。
• 段階的に医療知識の特異性を高めるために、共通、分野特異的、疾患に富んだ3種類のプロンプトを設計する。
• トレーニング中に最適なプロンプトトークンを学習できる自動プロンプト学習メカニズムを導入し、手動によるプロンプト設計の必要性を排除する。
• 標準的なエンコーダ・デコーダアーキテクチャを採用し、事前学習済みの視覚エンコーダと事前学習済みの言語モデル（デコーダ）を用いる。プロンプトは入力の前に付加される。
• トレーニングと評価にMIMIC-CXRデータセットを用い、生成された報告における交差エントロピー損失を最適化することで、自動プロンプト学習を実施する。
• プロンプト長の影響と、異なるプロンプトタイプの有効性を評価するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルに内蔵された事前知識を活用することで、プロンプト学習が、レントゲン画像報告生成を効果的に向上させられるか？
• RQ2 共通、分野特異的、疾患に富んだ知識の異なるレベルを含むプロンプトが、報告生成の品質にどのように影響するか？
• RQ3 自動プロンプト学習メカニズムは、人為的介入を減らしながら、手動によるプロンプト設計を上回る性能を発揮できるか？
• RQ4 疾患特異的知識の組み込みが、正常および異常所見を正確に記述する能力をどの程度向上させるか？

主な発見

• 提案されたPromptRRGフレームワークは、MIMIC-CXRベンチマークで最先端の性能を達成し、以前のSOTA手法を上回った。
• 疾患に富んだプロンプトは、『肺底部に散在性の透明度低下を認め、これは不張塞栓を示唆する可能性がある』といった、異常所見の正確な記述能力を顕著に向上させた。
• 自動プロンプト学習メカニズムは、疾患に富んだプロンプトと同等の高い性能を達成し、手動設計なしで有効性を示した。
• アブレーションスタディの結果、プロンプト長は性能に非単調な影響を及ぼし、N^p = 8付近で最適な性能が得られた。これは情報とノイズのバランスを示している。
• 疾患に富んだプロンプトを用いたモデルは、正常および異常所見をより臨床的に正確かつ詳細に記述する報告を生成し、例えば所見と基礎疾患を結びつけるような診断的推論を含むことが多かった。
• 自動プロンプト学習メカニズムは、文脈的ヒントに基づいて『軽度の両側肺底部不張塞栓』や『気管支血管影の強調』を生成できるなど、有用な医療知識を効果的に捉えていた。