[論文レビュー] Generating Radiology Reports via Memory-driven Transformer

Zhihong Chen, Yan Song+2 more|arXiv (Cornell University)|Oct 30, 2020

Topic Modeling参考文献 39被引用数 26

ひとこと要約

本論文では、レントゲン画像報告書生成のためのメモリ駆動型Transformerモデルを提案し、関係性メモリとメモリ駆動型条件付き層正規化（MCLN）を導入することで、長文かつ臨床的に正確な報告書生成を向上させた。このアプローチは、IU X-RayおよびMIMIC-CXRデータセットにおいて最先端の性能を達成し、医学用語の質が向上するとともに、意味的な画像・テキスト Attention マッピングを実現した。

ABSTRACT

Medical imaging is frequently used in clinical practice and trials for diagnosis and treatment. Writing imaging reports is time-consuming and can be error-prone for inexperienced radiologists. Therefore, automatically generating radiology reports is highly desired to lighten the workload of radiologists and accordingly promote clinical automation, which is an essential task to apply artificial intelligence to the medical domain. In this paper, we propose to generate radiology reports with memory-driven Transformer, where a relational memory is designed to record key information of the generation process and a memory-driven conditional layer normalization is applied to incorporating the memory into the decoder of Transformer. Experimental results on two prevailing radiology report datasets, IU X-Ray and MIMIC-CXR, show that our proposed approach outperforms previous models with respect to both language generation metrics and clinical evaluations. Particularly, this is the first work reporting the generation results on MIMIC-CXR to the best of our knowledge. Further analyses also demonstrate that our approach is able to generate long reports with necessary medical terms as well as meaningful image-text attention mappings.

研究の動機と目的

• 深層学習を用いて長く臨床的に正確なレントゲン画像報告書を生成する課題に取り組むこと。
• レントゲン画像報告書のパターン化された多文構造を捉えきれていない従来の画像キャプション生成モデルの改善に向けた取り組み。
• メモリ機構を用いて報告書内の繰り返し現れる臨床的パターンを暗黙的にモデル化すること。
• 新しい正規化手法を用いて関係性メモリを統合することで、Transformerのデコーダーの性能を向上させること。
• 標準的なレントゲン画像報告書データセットにおいて、最先端の性能を示すことを目的とし、MIMIC-CXRにおける初の報告結果も含む。

提案手法

• 関係性メモリ（RM）を導入し、過去のデコーディングステップから得られる重要な情報を格納・取得することで、報告書間のパターンを捉える。
• メモリ駆動型条件付き層正規化（MCLN）機構を設計し、Transformer層の正規化を関係性メモリに条件づける。
• メモリをTransformerアーキテクチャのデコーダーに統合することで、自己回帰的生成中に動的な文脈適合が可能になる。
• モデルは標準的なシーケンス・トゥ・シーケンスフレームワークに従い、画像パッチから抽出された視覚特徴を入力とする。
• 学習目的は、正解報告書と生成シーケンスの間の交差エントロピー損失を最小化すること。
• 標準的な学習プロトコルに従い、2つの公開データセット（IU X-RayおよびMIMIC-CXR）で微調整を実施した。

実験結果

リサーチクエスチョン

• RQ1 メモリ拡張型Transformerアーキテクチャは、長く臨床的に構造化されたレントゲン画像報告書の生成を改善できるか？
• RQ2 関係性メモリを統合することで、医学的に正確でパターン化された報告書の生成能力にどのような影響を与えるか？
• RQ3 提案されたMCLN機構は、画像領域と生成された報告書トークンとの間のAttentionの整合性を向上させるか？
• RQ4 標準指標および臨床的評価において、先行する最先端手法と比較して、本モデルはどのような性能を示すか？
• RQ5 メモリサイズの変更が、報告書の品質および生成の安定性に与える影響は何か？

主な発見

• 提案モデルは、BLEU、ROUGE、CIDErを含む複数の言語生成指標において、IU X-RayおよびMIMIC-CXRデータセットで最先端の性能を達成した。
• MIMIC-CXRでは、本モデルが初の公表結果を報告し、大規模かつ多様な臨床データセットにおける有効性を示した。
• ベースラインモデルと比較して、報告書がより長く、『アテレクタシス』や『胸膜効果』などの重要な医学用語の出現頻度も高くなった。
• 定性的な分析から、報告書と画像領域との間でより意味的なAttentionマッピングが得られ、報告された所見と視覚的領域の整合性が向上していることが示された。
• アブレーションスタディーにより、関係性メモリおよびMCLN機構の両方が性能向上に顕著に寄与しており、中程度のメモリサイズで最適な結果が得られた。
• 誤差解析から、トレーニングデータにおけるクラス不均衡がレアな所見の予測に悪影響を及えることが判明し、今後の研究における主な制限要因としてデータバイアスが浮き彫りになった。