[論文レビュー] Radiology Report Generation with a Learned Knowledge Base and Multi-modal Alignment

Shuxin Yang, Xian Wu+3 more|arXiv (Cornell University)|Dec 30, 2021

Topic Modeling被引用数 7

ひとこと要約

本論文では、トレーニング可能な知識ベースを介して医療知識を自動で学習し、画像、レポート、疾患ラベルの間でマルチモーダルな整合性を強制することで、レントゲン画像レポート生成モデルを提案する。手動での知識キュレーションを排除することで、IU-XrayおよびMIMIC-CXRデータセットで最先端の性能を達成し、自然言語生成と臨床的妥当性の両方の指標が向上した。

ABSTRACT

In clinics, a radiology report is crucial for guiding a patient's treatment. However, writing radiology reports is a heavy burden for radiologists. To this end, we present an automatic, multi-modal approach for report generation from a chest x-ray. Our approach, motivated by the observation that the descriptions in radiology reports are highly correlated with specific information of the x-ray images, features two distinct modules: (i) Learned knowledge base: To absorb the knowledge embedded in the radiology reports, we build a knowledge base that can automatically distil and restore medical knowledge from textual embedding without manual labour; (ii) Multi-modal alignment: to promote the semantic alignment among reports, disease labels, and images, we explicitly utilize textual embedding to guide the learning of the visual feature space. We evaluate the performance of the proposed model using metrics from both natural language generation and clinic efficacy on the public IU-Xray and MIMIC-CXR datasets. Our ablation study shows that each module contributes to improving the quality of generated reports. Furthermore, with the assistance of both modules, our approach outperforms state-of-the-art methods over almost all the metrics.

研究の動機と目的

• 放射線科医のレポート作成における高い作業負荷を軽減するため、レントゲン画像レポート生成を自動化すること。
• 既存手法が知識グラフやテンプレートの手作業構築を必要としているという制限を克服すること。
• 人為的アノテーションを伴わずに、レポートから疾患関連の知識を学習することで、レポートの品質を向上させること。
• 視覚的特徴、テキスト表現、疾患ラベルの間の意味的整合性を、マルチモーダルな整合性メカニズムによって強化すること。
• 自然言語生成と臨床的正確性の両方の指標で最先端の性能を達成すること。

提案手法

• 学習された知識ベースはメモリモジュールとして初期化され、トレーニング中にマルチヘッドアテンション機構を用いてレポート埋め込みによって更新される。
• 入力画像と基準レポートからの視覚的特徴およびテキスト埋め込みを照会することで、知識ベースは視覚的特徴とテキスト表現を統合し、医療知識の自動抽出を可能にする。
• 推論時には、視覚的特徴を用いて視覚的知識アテンションモジュールが知識ベースから関連する知識を取得する。
• 視覚的特徴とテキスト埋め込みの間の整合性を保つためにトリプルットマージン損失を、視覚的特徴と疾患ラベルの間の整合性を保つためにバイナリクロスエントロピー損失を用いることで、マルチモーダルな整合性を強制する。
• 視覚的、テキスト的、ラベル表現を同時に最適化することで、異なるモodal間での意味的整合性を確保する。
• フレームワークはエンドツーエンドで学習され、事前に構築された知識グラフやテンプレートを必要としない。

実験結果

リサーチクエスチョン

• RQ1 手動でのキュレーションを伴わず、レントゲン画像レポートから知識ベースを自動で学習できるか？
• RQ2 画像、レポート、疾患ラベルの間のマルチモーダルな整合性が、レポート生成の品質を向上させるか？
• RQ3 知識ベースのサイズとアーキテクチャが、レポート生成タスクのパフォーマンスに与える影響は何か？
• RQ4 知識ベースの再トレーニングなしに、異なるデータセットへ一般化可能か？
• RQ5 学習された知識と整合性メカニズムの統合が、自然言語生成と臨床的正確性の両方の指標を向上させるか？

主な発見

• 本モデルは、すべてのNLGおよび臨床的妥当性指標において、IU-XrayおよびMIMIC-CXRデータセットで最先端の性能を達成した。
• IU-Xrayデータセットでは、知識ベースサイズ60でCIDErスコア0.416、ROUGE-Lスコア0.395を達成し、ベースラインを上回った。
• MIMIC-CXRデータセットでは、知識ベースサイズ60でBLEU-4スコア0.111、CIDErスコア0.111を達成し、一貫した改善が見られた。
• 知識ベース更新機構におけるアテンションヘッド数の増加に伴い性能が向上し、8ヘッドでピークに達した。
• IU-Xrayでは知識ベースサイズ30が最良のパフォーマンスを示したが、より大きなMIMIC-CXRデータセットでは、サイズが大きくなるほど性能が向上し続けた。
• 定性的な結果では、胸水や不張性の異常をより正確に記述し、補助装置の記載も正しく捉えるなど、ベースラインを上回る性能を示した。