[論文レビュー] Knowledge Matters: Radiology Report Generation with General and Specific Knowledge

Shuxin Yang, Xian Wu+3 more|arXiv (Cornell University)|Dec 30, 2021

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、画像に依存しない一般知識と画像に依存する特定知識を、知識強化マルチヘッドアテンションメカニズムを介して統合する、胸部レントゲン画像報告生成のための知識強化フレームワークを提案する。この手法は、IU-XrayおよびMIMIC-CXRデータセットの両方で最先端の手法を上回り、自然言語生成（NLG）および臨床的有効性の指標において一貫した向上を示す。アブレーションスタディにより、両方の知識タイプの有効性が確認された。

ABSTRACT

Automatic radiology report generation is critical in clinics which can relieve experienced radiologists from the heavy workload and remind inexperienced radiologists of misdiagnosis or missed diagnose. Existing approaches mainly formulate radiology report generation as an image captioning task and adopt the encoder-decoder framework. However, in the medical domain, such pure data-driven approaches suffer from the following problems: 1) visual and textual bias problem; 2) lack of expert knowledge. In this paper, we propose a knowledge-enhanced radiology report generation approach introduces two types of medical knowledge: 1) General knowledge, which is input independent and provides the broad knowledge for report generation; 2) Specific knowledge, which is input dependent and provides the fine-grained knowledge for report generation. To fully utilize both the general and specific knowledge, we also propose a knowledge-enhanced multi-head attention mechanism. By merging the visual features of the radiology image with general knowledge and specific knowledge, the proposed model can improve the quality of generated reports. Experimental results on two publicly available datasets IU-Xray and MIMIC-CXR show that the proposed knowledge enhanced approach outperforms state-of-the-art image captioning based methods. Ablation studies also demonstrate that both general and specific knowledge can help to improve the performance of radiology report generation.

研究の動機と目的

• データ駆動型レントゲン画像報告生成における視覚的および文脈的バイアスを是正するため、専門家による医療知識を統合すること。
• 従来のエンコーダ・デコーダモデルが、正確な専門家知識を統合する点で不足しているのを補うため。
• 一般的（広範で画像に依存しない）および特定的（詳細で画像に依存する）の2種類の知識を導入することで、報告品質を向上させること。
• 視覚的特徴と構造化知識を統合する知識強化マルチヘッドアテンションメカニズムを設計し、より優れた報告生成を実現すること。
• アブレーションスタディおよび臨床的有効性指標を通じて、一般知識および特定知識の有効性を検証すること。

提案手法

• 一般知識の抽出には、事前に構築された知識グラフ（RadGraph）を用い、一般的な放射線学的用語とその関係を表現する。
• 特定知識の取得には、データセットから類似度の高い上位k件のレントゲン画像報告を検索し、現在の入力画像に関連するエンティティおよび関係を抽出する。
• 視覚的特徴、一般知識埋め込み、特定知識埋め込みの3つに同時に注目する知識強化マルチヘッドアテンション（KEMHA）メカニズムを提案する。
• KEMHAメカニズムは、視覚的特徴と知識表現を統合してアテンションスコアを計算し、デコーダが関連する医学的概念に注目できるようにする。
• 知識グラフ埋め込みはRotatE、TransE、TransRを用い、アブレーションスタディでRotatEが最も優れた性能を示した。
• クロスエントロピー損失を用いてエンドツーエンドで学習し、自動評価（BLEU、CIDEr）および臨床的有効性（CE）指標で評価する。

Fig. 1: A radiology examination record and corresponding knowledge graph. The figure displays three parts of information. The first part includes posterior-anterior(PA) and lateral(LAT) chest x-ray images. The second part is the corresponding report which is highlighted by different relationships. T

実験結果

リサーチクエスチョン

• RQ1 一般知識の統合は、レントゲン画像報告の品質および一貫性を向上させることができるか？
• RQ2 類似報告から抽出した画像固有の知識は、微細または希少な異常の検出を向上させることができるか？
• RQ3 知識強化マルチヘッドアテンションメカニズムは、視覚的特徴と知識表現を効果的に統合し、より優れた報告生成を実現できるか？
• RQ4 知識グラフ埋め込みモデル（例：RotatE、TransE）の選択が、最終的な報告品質にどのように影響するか？
• RQ5 一般知識と特定知識の組み合わせは、視覚的特徴や限定的な知識源のみに依存するモデルを上回る程度の効果を示すか？

主な発見

• 提案モデルは、RotatE埋め込みを用いた場合、IU-Xrayデータセットで最先端の性能を達成し、BLEU-4スコアが0.178、CIDErスコアが0.382を記録した。
• MIMIC-CXRデータセットでは、最先端の手法と同等の性能を示し、異なるデータセット間での堅牢性を確認した。
• アブレーションスタディでは、一般知識埋め込み（GKE）モジュールを削除すると性能が低下し、報告品質への肯定的影響が確認された。
• 特定知識埋め込み（SKE）モジュールを削除すると、顕著な性能低下が観察され、画像固有の知識が詳細な所見を捉える価値があることが示された。
• 知識グラフ埋め込みモデルの選択が性能に影響を及ぼし、RotatEがTransEおよびTransRを上回った。これは、高品質な知識表現が報告生成を改善することを示唆している。
• 定性的な結果では、モデルがより正確で包括的な報告を生成しており、エフュージョンやアテレクトアスといった重要な放射線学的所見のカバレッジが向上していることが確認された。

Fig. 2: The proposed model architecture includes four major modules: the general knowledge embedding module embeds the general knowledge (GK) and attend the visual features by knowledge-enhanced multi-head attention; the visual feature extraction module extracts visual features and predicts the dise