[論文レビュー] DeViDe: Faceted medical knowledge for improved medical vision-language pre-training

Haozhe Luo, Ziyu Zhou+3 more|arXiv (Cornell University)|Apr 4, 2024

Medical and Biological Sciences被引用数 4

ひとこと要約

DeViDeは、レントgen画像の診断報告書、医学的定義、オープンウェブ由来のレントgen画像の視覚的記述という多様な医療知識を、マルチグレインのアライメント損失を用いた双方向トランスフォーマーで統合する、新しい視覚言語事前学習フレームワークを提案する。このフレームワークは、3つの大規模データセットで最先端のゼロショット性能を達成し、分類およびセグメンテーションタスクにおいて優れた微調整結果を示す。視覚的記述の統合により、一部の疾患ではAUCが最大6.6%向上した。

ABSTRACT

Vision-language pre-training for chest X-rays has made significant strides, primarily by utilizing paired radiographs and radiology reports. However, existing approaches often face challenges in encoding medical knowledge effectively. While radiology reports provide insights into the current disease manifestation, medical definitions (as used by contemporary methods) tend to be overly abstract, creating a gap in knowledge. To address this, we propose DeViDe, a novel transformer-based method that leverages radiographic descriptions from the open web. These descriptions outline general visual characteristics of diseases in radiographs, and when combined with abstract definitions and radiology reports, provide a holistic snapshot of knowledge. DeViDe incorporates three key features for knowledge-augmented vision language alignment: First, a large-language model-based augmentation is employed to homogenise medical knowledge from diverse sources. Second, this knowledge is aligned with image information at various levels of granularity. Third, a novel projection layer is proposed to handle the complexity of aligning each image with multiple descriptions arising in a multi-label setting. In zero-shot settings, DeViDe performs comparably to fully supervised models on external datasets and achieves state-of-the-art results on three large-scale datasets. Additionally, fine-tuning DeViDe on four downstream tasks and six segmentation tasks showcases its superior performance across data from diverse distributions.

研究の動機と目的

• 胸部レントゲン画像の視覚言語事前学習における有効な医療知識統合の欠如を是正すること、特に、生の診断報告書や抽象的な定義への過度な依存を是正すること。
• 異なるスケールの粒度における多様な医療知識を統合することで、モデルのアライメントを向上させること。
• 追加のアノテーションを必要とせず、多様なテキスト医療知識と画像特徴を統一的かつスケーラブルにアライメントできる、知識拡張型VLPフレームワークの開発。
• レントゲン画像の視覚的記述が、医療画像分野におけるモデル性能および解釈可能性に与える影響を調査すること。
• 追加のアノテーションを必要とせず、画像特徴と多様なテキスト医療知識を統合する包括的かつスケーラブルな手法の構築。

提案手法

• DeViDeは、画像特徴、診断報告書、医学的定義、およびレントゲン画像の実体に関するオープンウェブ由来の視覚的記述を、統一された入力フォーマットで処理する双方向トランスフォーマー・アーキテクチャを採用する。
• 大規模言語モデルを用いて、多様なソースからの医療知識を均一化・標準化し、用語や構造の一貫性を確保する。
• 2つの新しい損失関数を用いてモデルを訓練する：局所的な画像-テキスト対応を目的としたピクセルごとのテキストアライメント損失（$\mathcal{L}_{pta}$）と、グローバルなアライメントを目的としたテキスト-画像対照損失（$\mathcal{L}_{tnc}$）。
• 新しいプロジェクション層により、1枚の画像が複数の詳細な視覚的記述と関連付けられる多ラベル画像-記述アライメントを可能にする。
• 知識のインジェクションは、クロスアテンションを用いて関連する画像領域にテキスト記述を固定する専用の知識取得レイヤーによって実施される。
• フレームワークは追加のアノテーションを一切使用せず、画像と報告書のペaired弱教師信号に依存する。

実験結果

リサーチクエスチョン

• RQ1 オープンウェブ由来のレントゲン画像の視覚的記述を統合することで、医療分野における視覚言語事前学習のゼロショット性能がどの程度向上するか？
• RQ2 マルチグレインの損失（$\mathcal{L}_{pta}$ と $\mathcal{L}_{tnc}$）は、画像領域とテキスト知識との間のアライメントをどの程度向上させるか？
• RQ3 DeViDeは、完全に教師ありのベースラインと比較して、微調整なしのゼロショット設定でも最先端の性能を達成できるか？
• RQ4 DeViDeの初期化は、少データ学習および微調整のシナリオにおけるデータ効率と収束性をどの程度向上させるか？
• RQ5 詳細な視覚的記述は、異常検出におけるモデルの解釈可能性および局所化精度にどの程度寄与するか？

主な発見

• DeViDeは、3つの大規模データセット（ChestX-ray14（AUC 0.7771）、CheXpert（AUC 0.8998）、PadChest（AUC 0.7465））で最先端のゼロショット性能を達成した。
• ゼロショット評価において、外部データセットでも完全に教師ありのモデルと同等の性能を示し、優れた一般化能力を示した。
• アブレーションスタディの結果、$\mathcal{L}_{pta}$ を除去すると2つのデータセットでAUCが最大3%低下し、局所的アライメントにおけるその重要性が確認された。
• 視覚的記述の統合により、PadChestの骨折クラスではAUCが最大6.6%向上し、その影響が顕著に示された。
• 4つの分類タスクおよび6つのセグメンテーションタスクで微調整した場合、DeViDeで初期化されたモデルはより良い最適解に収束し、データ効率が向上した。
• 定性的な分析から、注視マップが解剖学的領域とよく一致しており、『広範な結節』のような広範な所見は広範な注視を示し、『結節』のような局所的所見は集中した注視を示すことが確認された。