[論文レビュー] Cross-modal Memory Networks for Radiology Report Generation

Zhihong Chen, Yaling Shen+2 more|arXiv (Cornell University)|Apr 28, 2022

Multimodal Machine Learning Applications被引用数 26

ひとこと要約

tldr: 本論文は Cross-modal Memory Networks (CMN) を導入し、共有メモリ内の画像とテキストのクロスモーダルアライメントを保存して放射線科レポート生成を強化し、IU X-Ray および MIMIC-CXR データセットで最先端の結果を達成しています。

ABSTRACT

Medical imaging plays a significant role in clinical practice of medical diagnosis, where the text reports of the images are essential in understanding them and facilitating later treatments. By generating the reports automatically, it is beneficial to help lighten the burden of radiologists and significantly promote clinical automation, which already attracts much attention in applying artificial intelligence to medical domain. Previous studies mainly follow the encoder-decoder paradigm and focus on the aspect of text generation, with few studies considering the importance of cross-modal mappings and explicitly exploit such mappings to facilitate radiology report generation. In this paper, we propose a cross-modal memory networks (CMN) to enhance the encoder-decoder framework for radiology report generation, where a shared memory is designed to record the alignment between images and texts so as to facilitate the interaction and generation across modalities. Experimental results illustrate the effectiveness of our proposed model, where state-of-the-art performance is achieved on two widely used benchmark datasets, i.e., IU X-Ray and MIMIC-CXR. Further analyses also prove that our model is able to better align information from radiology images and texts so as to help generating more accurate reports in terms of clinical indicators.

研究の動機と目的

• Automatic radiology report generation をモチベーションとして、放射線科医の仕事負担を軽減する。
• 胸部 X 線画像とレポート間のクロスモーダルアライメントを明示的にモデル化し活用する。
• 共有クロモーダル情報を格納するメモリベースの媒体を導入する。
• エンコーダ-デコーダ（Transformer）を memory-driven cross-modal interactions で強化する。
• 2つのベンチマークデータセットで最先端の性能を示す。

提案手法

• CNN ベースのビジュアル抽出器を用いて領域ベースの画像特徴を取得する。
• 画像とテキストのアライメントをエンコードする共有メモリ行列を持つクロスモーダルメモリネットワーク (CMN) を導入する。
• 入力特徴とメモリベクトルを共通空間へ写像し top-K のメモリを選択して memory querying を行う。
• 視覚入力とテキスト入力の両方に対して変換後メモリベクトルの加重和を用いて応答を生成する。
• _memory_ 応答を Transformer ベースのエンコーダ-デコーダへ供給して放射線科レポートを作成する。

実験結果

リサーチクエスチョン

• RQ1 共有クロモ-modal memory は放射線科レポート生成におけるアライメントと生成品質を改善できるか。
• RQ2 CMN は標準的な放射線ベンチマークにおいて単一モダリティのメモリやメモリなしのベースラインを上回るか。
• RQ3 メモリサイズとクエリパラメータは生成品質とアライメントにどのように影響するか。
• RQ4 エンコードとデコードの両方でメモリを使用すると、デコードのみのメモリより大きな改善を得られるか。

主な発見

Model	BL-1	BL-2	BL-3	BL-4	MTR	RG-L	P	R	F1
IU X-Ray Base	0.396	0.254	0.179	0.135	-	-	-	-	-
IU X-Ray +mem	0.443	0.270	0.191	0.144	-	-	-	-	-
IU X-Ray +cmn	0.475	0.309	0.222	0.170	-	-	-	-	-
MIMIC-CXR Base	0.314	0.192	0.127	0.090	0.125	0.265	-	-	-
MIMIC-CXR +mem	0.340	0.209	0.140	0.100	0.135	0.273	0.322	0.255	0.261
MIMIC-CXR +cmn	0.353	0.218	0.148	0.106	0.142	0.278	0.334	0.275	0.278

• CMN ベースのモデルはベースラインを NLG 指標で上回り、CE 指標が適用可能な場合には上回る。
• Base+cmn は IU X-Ray および MIMIC-CXR で評価されたモデルの中で BLEU/METEOR/ROUGE-L のスコアが最も高い。
• Memory-augmented encoding plus decoding はデコードのみのメモリより大きな改善をもたらす（Base+cmn > Base+mem）。
• メモリサイズは適度な範囲で効果的だが、それを超えると更新が不十分で利得が飽和または劣化する。
• モデルは定性的分析とケーススタディを通じて意味のある画像-テキストマッピングとアライメントを示す。