[論文レビュー] X-TRA: Improving Chest X-ray Tasks with Cross-Modal Retrieval Augmentation

Tom van Sonsbeek, Marcel Worring|arXiv (Cornell University)|Feb 22, 2023

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

X-TRAは、微調整されたCLIPモデルを用いて疾患関連画像およびレポートを検索することで、胸部X線画像解析における疾患分類と放射線科レポート検索を向上させるクロスモodal検索拡張フレームワークを提案する。ラベルに依存する対照的損失を用いて視覚と言語モダリティを疾患固有の内容に合わせて整合させ、複数のヘッドアテンションを用いて取得した知識を統合することで、X-TRAは最先端の性能を達成し、多ラベル分類において5%以上向上し、専用のレポート生成手法と同等の性能を示した。

ABSTRACT

An important component of human analysis of medical images and their context is the ability to relate newly seen things to related instances in our memory. In this paper we mimic this ability by using multi-modal retrieval augmentation and apply it to several tasks in chest X-ray analysis. By retrieving similar images and/or radiology reports we expand and regularize the case at hand with additional knowledge, while maintaining factual knowledge consistency. The method consists of two components. First, vision and language modalities are aligned using a pre-trained CLIP model. To enforce that the retrieval focus will be on detailed disease-related content instead of global visual appearance it is fine-tuned using disease class information. Subsequently, we construct a non-parametric retrieval index, which reaches state-of-the-art retrieval levels. We use this index in our downstream tasks to augment image representations through multi-head attention for disease classification and report retrieval. We show that retrieval augmentation gives considerable improvements on these tasks. Our downstream report retrieval even shows to be competitive with dedicated report generation methods, paving the path for this method in medical imaging.

研究の動機と目的

• 人間の診断的推論を模倣するように、類似した過去の症例からの知識を明示的に統合することにより、胸部X線画像解析タスクの性能を向上させること。
• 医療画像検索におけるグローバル特徴の優位性という課題に対処し、微細な疾患関連コンテンツに焦点を当てる。
• 多ラベル疾患分類と放射線科レポート検索の両方を向上させる、検索拡張フレームワークを開発すること。
• 本手法の異なる胸部X線データセット間での一般化性能とドメインシフトに対するロバストネスを評価すること。

提案手法

• 疾患固有のコンテンツを中心に視覚と言語表現を統合するために、ラベルに依存する対照的損失を用いてCLIPモデルを微調整し、グローバルな画像外観への依存を低減する。
• 微調整されたCLIPモデルを用いて非パラメトリックな検索インデックスを構築し、画像と放射線科レポート間のクロスモダリティ検索を可能にする。
• 下流の推論時に、取得した画像-レポートペアを用いてマルチヘッドアテンションによる検索拡張を実施し、画像特徴を豊かにする。
• 取得した知識を非パラメトリックメモリコンponentとして用い、疾患分類およびレポート検索パイプラインにおける表現の正則化と豊かさを向上させる。
• MIMIC-CXRおよびCheXpertデータセット上で標準的な指標を用いて検索性能を評価し、インデックス構成およびサイズに関するアブレーションスタディを実施する。
• 異なる胸部X線コレクション間での転送性とロバストネスを評価するため、クロスデータセット評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 関連する過去の症例を活用することで、検索拡張は胸部X線画像解析における多ラベル疾患分類を向上させ得るか？
• RQ2 微調整されたCLIPを用いたクロスモダリティ検索は、疾患関連の画像-レポートペアを特定する際、標準的な検索手法を上回る性能を示すか？
• RQ3 検索拡張特徴は、放射線科レポート検索において専用のレポート生成モデルと同等またはそれ以上の性能を達成できるか？
• RQ4 検索インデックスの構成およびサイズは、下流の性能にどのように影響を与えるか？
• RQ5 ドメインシフトを伴う異なる胸部X線データセット間で、本手法はどの程度一般化可能か？

主な発見

• X-TRAは、多ラベル疾患分類において最先端の性能を達成し、ベースラインモデルと比較してF1スコアを5%以上向上させた。
• 本手法は、MIMIC-CXRデータセットにおいて、専用のレポート生成モデルと同等またはそれ以上の性能を示した。
• 検索拡張は疾患分類およびレポート検索の両方を向上させ、10万件を超えるサンプルを含む検索インデックスを使用した場合に最も優れた結果が得られた。
• 検索結果が役立たない場合でも、アテンションベースのゲーティングにより性能を維持できることから、本手法はロバストであることが示された。
• クロスデータセット評価では、微調整なしでは転送性が限定的であったが、新しいドメインデータで検索インデックスを更新することで性能が著しく向上した。
• アブレーションスタディにより、ラベルに依存する微調整が疾患関連コンテンツの取得に不可欠であることが確認され、また、検索なしのランダム検索と同等の性能であったことから、本手法が不要な情報を無視できる能力を持つことが示された。