[論文レビュー] KiUT: Knowledge-injected U-Transformer for Radiology Report Generation

Zhongzhen Huang, Xiaofan Zhang+1 more|arXiv (Cornell University)|Jun 20, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

KiUTは、U-connectionエンコーダ-デコーダアーキテクチャとインジェクテッド知識蒸留器を用いて、視覚的、文脈的、臨床的知識を統合する知識インジェクションU-Transformerを提案する。症状グラフとマルチレベル特徴相互作用を活用することで、IU-XrayおよびMIMIC-CXRで最先端の性能を達成し、異常所見の記述とレポートの整合性が著しく向上する。

ABSTRACT

Radiology report generation aims to automatically generate a clinically accurate and coherent paragraph from the X-ray image, which could relieve radiologists from the heavy burden of report writing. Although various image caption methods have shown remarkable performance in the natural image field, generating accurate reports for medical images requires knowledge of multiple modalities, including vision, language, and medical terminology. We propose a Knowledge-injected U-Transformer (KiUT) to learn multi-level visual representation and adaptively distill the information with contextual and clinical knowledge for word prediction. In detail, a U-connection schema between the encoder and decoder is designed to model interactions between different modalities. And a symptom graph and an injected knowledge distiller are developed to assist the report generation. Experimentally, we outperform state-of-the-art methods on two widely used benchmark datasets: IU-Xray and MIMIC-CXR. Further experimental results prove the advantages of our architecture and the complementary benefits of the injected knowledge.

研究の動機と目的

• 既存モデルの正確で放射線科医に似た報告を生成する能力の制限を克服するため、マルチモodal知識を統合すること。
• 特に正常所見および領域の過剰代表というデータバイアスを低減すること。
• 画像領域と臨床的実体との間の複雑な関係をモデル化することで、報告品質を向上させること。
• 視覚と言語の間のクロスマodal相互作用を強化する軽量で効果的なアーキテクチャを開発すること。
• 注入された知識蒸留がデコード段階でどのように効果的であるかを検証すること、特に臨床的推論の向上に寄与するか。

提案手法

• エンコーダーとデコーダーの間にU-connectionアーキテクチャを設計し、視覚的、文脈的、臨床的モダリティ間でマルチレベルの相互作用と特徴統合を可能にする。
• 専門家がアノテートした臨床的実体と関係性から症状グラフを構築し、均一な埋め込み空間を持つ構造化医療知識を提供する。
• デコーダー上にインジェクテッド知識蒸留器を導入し、語の予測段階で視覚的、文脈的、臨床的知識を動的に蒸留・統合する。
• 領域関係エンコーダは、画像領域間の内在的（領域内）および外在的（領域間）な関係を捉え、異常所見検出を強化する。
• マルチヘッド自己注意とフィードフォワードネットワークを用いたトランスフォーマー基盤のエンコーダ-デコーダフレームワークを採用し、クロスマodal生成に適応する。
• 知識インジェクションはデコード段階で行われ、視覚的特徴学習に干渉せず、異種埋め込み空間間の整合性を保証する。

実験結果

リサーチクエスチョン

• RQ1 エンコーダーとデコーダーの間にU-connectionアーキテクチャを導入することで、レセプトリー報告生成におけるマルチレベル特徴相互作用が向上するか？
• RQ2 症状グラフを用いた臨床的知識のインジェクションが、生成報告の正確性および臨床的関連性にどのように影響するか？
• RQ3 視覚的、文脈的、臨床的特徴からの知識蒸留は、報告生成性能にどの程度向上効果をもたらすか？
• RQ4 提案手法は、標準的なレセプトリー報告ベンチマークにおいて、既存の最先端モデルを上回るか？
• RQ5 標準的なキャプションモデルが見逃しがちな微細または複雑な異常を、モデルはどのように処理するか？

主な発見

• KiUTは、IU-XrayおよびMIMIC-CXRデータセットの両方で最先端の性能を達成し、BLEU、ROUGEその他の標準指標において、以前の手法を上回る。
• アブレーションスタディでは、文脈的および臨床的特徴を両方削除すると、BLEU-1スコアが0.393から0.337に低下し、これらが報告生成において極めて重要な役割を果たしていることが確認された。
• U-connection構造は、標準的な1対1接続よりも0.01のBLEU-1スコア向上を達成し、より複雑なメッシュ接続と同等の性能を達成しながらも、パラメータ数を少なくした。
• 定性的分析により、KiUTは「右半diaphragmのわずかな上昇」や「支援装置」といった微細所見を正確に記述でき、微細な異常に対する感受性が向上していることが示された。
• モデルは文脈的に整合性のある報告を生成できており、胸膜効果のため心臓輪郭の評価が困難であることを推論するなど、臨床的推論を反映している。
• インジェクテッド知識蒸留器により、モデルは症状間の関連を推論でき、画像所見と臨床的意義を正しく結びつける報告を生成することが可能になった。