[論文レビュー] Interactive and Explainable Region-guided Radiology Report Generation

Tim Tanida, Philip C. Müller+2 more|arXiv (Cornell University)|Apr 17, 2023

Multimodal Machine Learning Applications参考文献 57被引用数 10

ひとこと要約

RGRGは解剖学的領域を物体検出で検出し、その後領域固有の文を生成して、完全で対話型の放射線診断レポートを形成し、説明可能性を強化します。

ABSTRACT

The automatic generation of radiology reports has the potential to assist radiologists in the time-consuming task of report writing. Existing methods generate the full report from image-level features, failing to explicitly focus on anatomical regions in the image. We propose a simple yet effective region-guided report generation model that detects anatomical regions and then describes individual, salient regions to form the final report. While previous methods generate reports without the possibility of human intervention and with limited explainability, our method opens up novel clinical use cases through additional interactive capabilities and introduces a high degree of transparency and explainability. Comprehensive experiments demonstrate our method's effectiveness in report generation, outperforming previous state-of-the-art models, and highlight its interactive capabilities. The code and checkpoints are available at https://github.com/ttanida/rgrg .

研究の動機と目的

• 自動放射線診断レポート生成を促進して放射線科医の負担を軽減する。
• salient解剖学的領域を検出・記述することによる領域指向の推論を導入する。
• 対話性と説明性を提供し、領域を選択したり境界ボックスを描画してターゲットとなる説明を得られる仕組みを提供する。
• MIMIC-CXR-derived Chest ImaGenomeデータにおいて報告品質と臨床的有用性の改善を示す。

提案手法

• Faster R-CNN with ResNet-50を使用して29の胸部解剖領域を検出し、領域特徴を抽出する。
• どの領域を記述するか、異常かどうかを決定するための二値の領域選択および異常性分類器を訓練する。
• region features に基づく事前学習済みの医療用 GPT-2モデルを条件付けして、疑似自己注意注入により領域固有の文を生成する。
• 領域文を連結し、重複削除を適用して最終レポートを形成する。
• 解剖学ベースおよび選択ベースの文生成を有効にして対話性と説明性を実現する。
• 検出機のみ、検出機と分類器、最後に部分言語モデルファインチューニングを含む三段階で訓練する。

実験結果

リサーチクエスチョン

• RQ1 解剖学的領域に基づく領域レベルの説明が放射線診断レポートの事実的一貫性と網羅性を改善するか。
• RQ2 領域ベースの対話生成は、画像レベルの手法と比べて説明性と放射線科医の制御を向上させるか。
• RQ3 標準的なNLG指標および臨床的に関連する有効性指標で、MIMIC-CXR-derivedデータ上でモデルはどの程度の性能を示すか。
• RQ4 解剖ベースおよび選択ベースの相互作用は、境界ボックスの偏差に対して頑健か。

主な発見

Dataset	Method	Year	BLEU-1	BLEU-2	BLEU-3	BLEU-4	METEOR	ROUGE-L	CIDEr
MIMIC-CXR	RGRG	Ours	0.373	0.249	0.175	0.126	0.168	0.264	0.495

• モデルは標準的なNLG指標および全レポート生成の最先端 METEOR スコアで競争力を示す。
• 臨床有効性CE指標では、RLなしのベースラインよりも大幅な改善を示し、RL最適化モデルと競合する。
• 各文を境界ボックスに明示的に視覚 grounding した解剖学ベースの領域固有文生成を初めて報告。
• 解剖学ベースの文生成は、特定解剖学性が高いほどMETEORの利得を示し（Anatomy-Sensitivity-Ratio ≈ 1.94 for 6 regions）、領域特異性が向上。
• 選択ベースの生成は、アスペクト比とスケールの境界ボックスの偏差に対して頑健であり、位置には感度を保ちつつ臨床ワークフローでの対話性を支援する。