[論文レビュー] Exploring and Distilling Posterior and Prior Knowledge for Radiology Report Generation

Fenglin Liu, Xian Wu+3 more|arXiv (Cornell University)|Jun 13, 2021

Multimodal Machine Learning Applications参考文献 43被引用数 20

ひとこと要約

本稿では、画像ベースの事後知識（疾患トピックタグによる異常領域）と、医療知識グラフおよび過去のレポートからの事前知識を活用することで、視覚的および言語的データバイアスを軽減する新規フレームワークPPKEDを提案する。その後、マルチドメイン知識蒸留モジュールを用いてこれらを蒸留する。この手法は、MIMIC-CXRおよびIU-Xrayデータセットにおいて、より正確でバランスが取れ、詳細なレポートを生成することで、先行する最先端モデルを上回る性能を示した。

ABSTRACT

Automatically generating radiology reports can improve current clinical practice in diagnostic radiology. On one hand, it can relieve radiologists from the heavy burden of report writing; On the other hand, it can remind radiologists of abnormalities and avoid the misdiagnosis and missed diagnosis. Yet, this task remains a challenging job for data-driven neural networks, due to the serious visual and textual data biases. To this end, we propose a Posterior-and-Prior Knowledge Exploring-and-Distilling approach (PPKED) to imitate the working patterns of radiologists, who will first examine the abnormal regions and assign the disease topic tags to the abnormal regions, and then rely on the years of prior medical knowledge and prior working experience accumulations to write reports. Thus, the PPKED includes three modules: Posterior Knowledge Explorer (PoKE), Prior Knowledge Explorer (PrKE) and Multi-domain Knowledge Distiller (MKD). In detail, PoKE explores the posterior knowledge, which provides explicit abnormal visual regions to alleviate visual data bias; PrKE explores the prior knowledge from the prior medical knowledge graph (medical knowledge) and prior radiology reports (working experience) to alleviate textual data bias. The explored knowledge is distilled by the MKD to generate the final reports. Evaluated on MIMIC-CXR and IU-Xray datasets, our method is able to outperform previous state-of-the-art models on these two datasets.

研究の動機と目的

• 正常所見が優勢で、希少な異常所見が不足している、レントゲン画像報告における深刻な視覚的および言語的データバイアスに対処すること。
• まず異常領域を特定し、その後、医療知識や臨床経験を活用する、放射線科医の臨床プロセスを模倣すること。
• 報告生成のための、事後知識（画像ベース）と事前知識（知識ベース）を効果的に探索・蒸留するフレームワークの開発。
• より正確で多様性に富み、臨床的に関連性の高い報告を生成し、希少だが重要な異常所見を的確に捉えること。

提案手法

• 事後知識エクスプローラー（PoKE）は、疾患トピックタグを用いてレントゲン画像内の異常領域を局所化し、注目を集中させることで、視覚的データバイアスを低減する。
• 事前知識エクスプローラー（PrKE）は、事前に構築された医療知識グラフと取得済みの過去のレントゲン報告をエンコードすることで、言語的データバイアスを低減する。
• マルチドメイン知識蒸留器（MKD）は、アダプティブ蒸留注意（ADA）機構を用いて、事後知識と事前知識を動的に統合する。この機構は、各生成文ごとに動的注意重みを学習する。
• ADA機構は、事後知識と事前知識の寄与をバランスさせるための注意重みλ₁およびλ₂を計算し、異常関連コンテンツに高い重みを割り当てる。
• フレームワークは、報告生成における長距離依存関係をモデル化するため、Transformerベースのデコーダーを採用しており、一貫性と流暢さの向上に寄与する。
• 知識蒸留は、視覚的、言語的、構造的の複数のドメインに跨って適用され、生成報告と臨床所見の整合性を保証する。

Figure 1: Two examples of ground truth reports and reports generated by HRNN [ 19 ] and our method. The Red colored text indicates the abnormalities in reports. The Blue colored text stands for the similar sentences used to describe the normalities in ground truth reports. There are notable data bia

実験結果

リサーチクエスチョン

• RQ1 疾患トピックタグを用いた事後知識の探索は、レントゲン画像における希少で多様な異常領域の検出を改善できるか？
• RQ2 医療知識グラフと履歴レポートからの事前知識は、報告生成における言語的データバイアスを低減できるか？
• RQ3 事後知識と事前知識の間で適応的知識蒸留を適用することで、より正確でバランスの取れた報告が得られるか？
• RQ4 提案されたPPKEDフレームワークは、既存の最先端モデルをどの程度上回るか？

主な発見

• PPKEDフレームワークは、MIMIC-CXRおよびIU-Xrayの両データセットで、先行する最先端モデルを上回る性能を示し、報告生成において優れた性能を発揮した。
• アダプティブ蒸留注意（ADA）機構は、異常関連知識に高い注意重みを割り当てる能力を効果的に学習しており、異常文におけるλ₁およびλ₂の値は、正常文よりも顕著に高いことが確認された。
• モデルは、真値との整合性が高く、心臓肥大、胸水症、不張気管支拡張などの希少な異常所見を正確に記述する報告を生成しており、定性的な例でもその有効性が示された。
• MKDモジュールにTransformerベースのデコーダーを採用したことで、LSTMベースのデコーダーよりも優れた性能が得られ、長く一貫性のあるシーケンスのモデル化に有効であることが確認された。
• 知識蒸留プロセスは、過去の作業経験（取得済みレポート）と医療知識（知識グラフ）を効果的に活用しており、正常性記述文ではより豊富な事前言語パターンがあるため、λ₂の値が高くなる傾向を示した。
• 「正常」カテゴリのAUCスコアが、比較対象の全モデルの中で最高であり、正確な正常所見記述の能力が優れていることを示している。

Figure 2: Illustration of our proposed Posterior-and-Prior Knowledge Exploring-and-Distilling (PPKED) approach, which includes Posterior Knowledge Explorer (PoKE), Prior Knowledge Explorer (PrKE) and Multi-domain Knowledge Distiller (MKD). Specifically, PoKE explores the posterior knowledge by extra