[論文レビュー] Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report Generation

Mingjie Li, Bingqian Lin+4 more|arXiv (Cornell University)|Mar 18, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、胸部X線画像のレポート生成のための新規フレームワークである動的グラフ強化対照学習（DCL）を提案する。DCLは、事前に用意された一般医療知識グラフに、検索されたレポートから得られる特定の知識を統合することで、動的知識グラフを構築する。対照学習とグラフアテンションを用いて視覚的・言語的表現を精緻化することで、レポート品質が向上し、IU-XrayおよびMIMIC-CXRで最先端の性能を達成し、CIDErスコアで最大0.557の向上を達成した。

ABSTRACT

Automatic radiology reporting has great clinical potential to relieve radiologists from heavy workloads and improve diagnosis interpretation. Recently, researchers have enhanced data-driven neural networks with medical knowledge graphs to eliminate the severe visual and textual bias in this task. The structures of such graphs are exploited by using the clinical dependencies formed by the disease topic tags via general knowledge and usually do not update during the training process. Consequently, the fixed graphs can not guarantee the most appropriate scope of knowledge and limit the effectiveness. To address the limitation, we propose a knowledge graph with Dynamic structure and nodes to facilitate medical report generation with Contrastive Learning, named DCL. In detail, the fundamental structure of our graph is pre-constructed from general knowledge. Then we explore specific knowledge extracted from the retrieved reports to add additional nodes or redefine their relations in a bottom-up manner. Each image feature is integrated with its very own updated graph before being fed into the decoder module for report generation. Finally, this paper introduces Image-Report Contrastive and Image-Report Matching losses to better represent visual features and textual information. Evaluated on IU-Xray and MIMIC-CXR datasets, our DCL outperforms previous state-of-the-art models on these two benchmarks.

研究の動機と目的

• 医療レポート生成における深刻な視覚的・言語的データバイアスに取り組むこと、特に正常/異常ケースの不均衡なデータセットや繰り返し発生する正常記述の問題を解決すること。
• 固定された医療知識グラフでは、例として「エフュージョン」が「浮腫」を示唆するような症例固有の臨床的関係を捉えきれないという限界を克服すること。
• 対照学習を用いて視覚的・言語的表現学習を向上させることで、レポート生成の品質と動的グラフ構築のための検索精度を向上させること。
• 検索されたレポートから得られるドメイン特化知識を、画像ごとに進化する動的グラフ構造に統合することで、意味的正確性と臨床用語の使用を向上させること。

提案手法

• 一般医療知識から基礎となる知識グラフを構築し、28のエンティティ（グローバルノード、7つの臓器、20の所見）と事前に定義された関係を含める。
• 密度的検索法を用いて、各入力画像に対して意味的に類似したレポートを検索する。
• RadGraphを用いて、検索されたレポートから臨床的トリプレット（主語、関係、目的語）を抽出し、症例固有の知識を特定する。
• 抽出されたトリプレットに基づいて新しいノードを追加し、関係を再定義することで、画像ごとに動的グラフを拡張する。
• グラフニューラルネットワーク（GNN）を用いてノード特徴量を伝搬・精緻化し、SciBert埋め込みで初期化された文脈に適応したノード表現を生成する。
• 画像特徴量と動的グラフ表現をグラフアテンション型Transformerデコーダーを介して統合し、レポートを生成する。同時に、画像-レポート対照損失とマッチング損失を最適化する。

実験結果

リサーチクエスチョン

• RQ1 検索されたレポートから得られる症例固有の知識を動的に統合することで、生成されたレポートの正確性と臨床的関連性が向上するか？
• RQ2 データバイアスの存在下でも、画像とレポート特徴量間の対照学習が視覚的・言語的表現品質を向上させるか？
• RQ3 画像ごとに進化する動的グラフ構造は、固定された知識グラフを上回り、臨床的に関連する関係を捉えることができるか？
• RQ4 画像-レポート対照損失とマッチング損失が、動的グラフフレームワークにおいてレポート生成性能と検索精度をどの程度向上させるか？

主な発見

• DCLはMIMIC-CXRデータセットでCIDErスコア0.557を達成し、ベースモデル比で0.022の向上を示し、以前の最先端手法を上回った。
• 検索されたレポートからの動的知識統合により、CIDEr、BLEU、ROUGE、METEORの全指標で顕著な性能向上が見られ、臨床用語の使用が向上したことが示された。
• 画像-レポート対照損失（IRC）は画像-レポートマッチング損失（IRM）よりも高い性能向上をもたらし、視覚的・言語的表現の精緻化に及ぼす影響が強いことが示された。
• 事前学習済みのViTとSciBertはモデル性能を著しく向上させ、アブレーションスタディではこれらの初期化を削除すると急激に性能が低下し、表現学習における重要性が浮き彫りになった。
• 定性的分析により、DCLは「左上葉内にアテローシスコンソリデーションが認められ、肺炎に一致する」といった臨床的に正確な文を生成できることを確認した。これはR2Genが同様の表現を生成できないのに対し、動的ノードによる疾患キーワードの強調により実現された。
• 対照学習を強化した動的グラフ構築プロセスにより、「コンソリデーション」が「エフュージョン」を示唆するような臨床的に関連する関係が、静的グラフには存在しないが、正しく捉えられた。