[論文レビュー] Fine-Grained Image-Text Alignment in Medical Imaging Enables Explainable Cyclic Image-Report Generation

Wenting Chen, Linlin Shen+4 more|arXiv (Cornell University)|Dec 13, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、胸部X線（CXR）画像における細分化された画像・テキストアライメントを実現する、新たな自己適応的パッチ・ワードアライメントフレームワークAdaMatchを提案する。このフレームワークにより、説明可能なサイクル的CXRレポート生成が可能となる。アテンションマップに基づき、病変のサイズや位置に応じて動的にパッチを抽出するAdaptive Patch抽出（AdaPatch）を導入することで、病変の局所化を動的に実現し、対照的学習を用いて適応的パッチとテキストトークンをアライメントさせる。AdaMatchは、検索および生成タスクで最先端の性能を達成し、MIMIC-CXRでR@1が51.47%および51.18%を記録した。

ABSTRACT

To address these issues, we propose a novel Adaptive patch-word Matching (AdaMatch) model to correlate chest X-ray (CXR) image regions with words in medical reports and apply it to CXR-report generation to provide explainability for the generation process. AdaMatch exploits the fine-grained relation between adaptive patches and words to provide explanations of specific image regions with corresponding words. To capture the abnormal regions of varying sizes and positions, we introduce the Adaptive Patch extraction (AdaPatch) module to acquire the adaptive patches for these regions adaptively. In order to provide explicit explainability for CXR-report generation task, we propose an AdaMatch-based bidirectional large language model for Cyclic CXR-report generation (AdaMatch-Cyclic). It employs the AdaMatch to obtain the keywords for CXR images and `keypatches' for medical reports as hints to guide CXR-report generation. Extensive experiments on two publicly available CXR datasets prove the effectiveness of our method and its superior performance to existing methods.

研究の動機と目的

• 固定グリッドパッチ手法の限界、特に変動するサイズや位置を有する病変を捉えきれない点を是正すること。
• 一般的な注目度マップではなく、特定で局所化された画像・テキストアライメントを提供することにより、視覚言語モデルにおける説明可能性を向上させること。
• 細分化されたアライメントをガイドメカニズムとして用い、CXR画像と放射線科レポートの双方向的・サイクル的生成を可能にすること。
• 教師付きレポートに依存せずに、推論時に明示的かつインスタンス固有の説明を提供する手法を開発すること。
• 公開データセットを用いた広範な評価を通じて、CXRレポート検索および生成タスクにおける優れた性能を実証すること。

提案手法

• アテンションマップに基づき、病変領域を中心に動的にパッチを生成するAdaptive Patch抽出（AdaPatch）を導入し、病変のサイズや位置に適応する。
• 対照的学習に基づくパッチ・ワードアライメントモジュール（AdaMatch）を採用し、適応的パッチ特徴量と放射線科レポートの対応するテキストトークンをアライメントさせる。
• 双方向的大型言語モデル（LLM）フレームワーク、AdaMatch-Cyclicを用いて、画像からのキーワードおよびレポートからの「キーパッチ」を生成ヒントとして用い、サイクル的生成を実現する。
• 推論時に教師付きレポートに依存せずに、一般的な医学的実体の事前定義済みテキストコーデックブックを用いて、CXR画像内でのキーワード検出をガイドする。
• 複数段階のビジョンエンコーダーを用い、AdaPatchモジュールを段階2〜4に適用することで、階層的で適応的な特徴を抽出する。
• 共通の埋め込み空間に画像パッチとテキストトークンをアライメントさせるために対照的損失を適用し、細分化されたアライメントを強化する。

実験結果

リサーチクエスチョン

• RQ1 固定グリッドパッチ法と比較して、アダプティブパッチ抽出は、サイズや位置が変動する病変の表現を向上させることができるか？
• RQ2 細分化されたパッチ・ワードアライメントは、注目度ベースや勾配ベースの手法と比較して、画像・テキスト関係のより明示的かつ具体的な説明を提供できるか？
• RQ3 提案されたAdaMatchベースのサイクル的生成フレームワークは、既存手法と比較して生成品質および検索性能を向上させることができるか？
• RQ4 AdaPatchモジュールは、固定パッチベースラインと比較して、臨床的に関連する領域の局所化においてどれほど効果的か？
• RQ5 サイクル的生成プロセス自体が、CXR画像と放射線科レポート間のアライメントを説明する自然なメカニズムとして機能するか？

主な発見

• AdaMatchは、MIMIC-CXRデータセットにおいて、CXRからレポートへの検索でR@1が51.47%、レポートからCXRへの検索で51.18%を達成し、SOTA性能を記録。LIMITRを12ポイント以上上回った。
• アブレーションスタディの結果、AdaPatchはCXRからレポートへの検索でR@1を2.70%、レポートからCXRへの検索で2.46%向上させ、その有効性が裏付けられた。
• 画像エンコーダーの3段階目が最良の検索性能（R@1 = 51.47%）を示し、中間レベルの特徴がパッチ・ワードアライメントに最も適していることが示された。
• 可視化結果から、AdaPatchは固定グリッドからのパッチ中心の適応により、ペースメーカーや胸膜効果などの関連解剖学的構造や異常を的確に局所化していることが確認された。
• AdaMatchを用いたサイクル的生成フレームワークは、より現実的で意味的に整合性のあるレポートと画像を生成し、検索および生成指標による検証で忠実度とアライメントが向上した。
• 本手法は明示的かつインスタンス固有の説明を提供する：任意のテキストトークンに対して、対応する画像領域（パッチ）が明確に局所化され、逆に画像領域に対しても対応するテキストが明確に特定される。