[論文レビュー] Local Contrastive Learning for Medical Image Recognition

Syed A Rizvi, Ruixiang Tang+3 more|PubMed|Mar 24, 2023

Radiomics and Machine Learning in Medical Imaging参考文献 15被引用数 6

ひとこと要約

本稿では、自己注意機構を用いて顕著な画像領域を特定し、その領域とレントゲン画像報告書との間で局所的対照学習を適用することで、解釈可能性と医療画像認識の性能を向上させる柔軟なファインチューニングフレームワークであるLocal Region Contrastive Learning (LRCLR)を提案する。LRCLRは、肺の透明度などの微細な病理を特定する能力において、ベースラインを上回りながら、チストレントゲン画像におけるゼロショット分類を改善する。

ABSTRACT

The proliferation of Deep Learning (DL)-based methods for radiographic image analysis has created a great demand for expert-labeled radiology data. Recent self-supervised frameworks have alleviated the need for expert labeling by obtaining supervision from associated radiology reports. These frameworks, however, struggle to distinguish the subtle differences between different pathologies in medical images. Additionally, many of them do not provide interpretation between image regions and text, making it difficult for radiologists to assess model predictions. In this work, we propose Local Region Contrastive Learning (LRCLR), a flexible fine-tuning framework that adds layers for significant image region selection as well as cross-modality interaction. Our results on an external validation set of chest x-rays suggest that LRCLR identifies significant local image regions and provides meaningful interpretation against radiology text while improving zero-shot performance on several chest x-ray medical findings.

研究の動機と目的

• グローバルな表現では重要な局所的特徴を逃がす可能性がある微細な病理の区別という課題に対処すること。
• 特定の画像領域をレポートのテキストに関連付けることで、モデルの解釈可能性を向上させ、放射線科医の信頼と協働を支援すること。
• 既存の対照的ビジョン・ランゲージモデルと互換性があり、アーキテクチャの大幅な見直しを伴わずに局所的対照学習を可能にする、モジュラーで柔軟なファインチューニングフレームワークの開発。
• テキストレポートと整合する判別性の高い局所的画像領域に注目することで、未知の医療所見におけるゼロショット性能を向上させること。

提案手法

• LRCLRは、ビジョントランスフォーマーのエンコーダーから得られる自己注意マップを用いて、情報のない背景領域を除いた顕著な画像領域を特定する領域選択モジュールを導入する。
• 選択された画像領域は、自己注意を介して画像領域とテキストトークンの間の文脈的な相互作用を学ぶクロスモーダルトランスフォーマーによって処理される。
• クロスモーダルトランスフォーマーのクラストークンと対応するテキスト埋め込みとの間に局所的対照損失が適用され、局所的画像特徴と関連するテキスト記述が一致するようにする。
• このフレームワークはプラグインモジュールとして設計されており、ファインチューニング時に任意の事前学習済み対照的ビジョン・ランゲージモデルに統合可能である。
• この手法は、クロスモーダル整合性のためだけでなく、どの画像領域が特定のテキストプロンプトに対して最も関連性があるかを可視化する解釈可能性の向上にも注意スコアを活用する。
• グローバルな対照学習と局所的対照学習を組み合わせることで、性能と特徴レベルの解釈可能性の両方を向上させる。

Figure 1: Overview of Local Contrastive Learning (LRCLR) framework.

実験結果

リサーチクエスチョン

• RQ1 自己注意マップを用いて、追加の教師信号なしに臨床的に関連のある局所的画像領域を効果的に特定できるか？
• RQ2 画像領域とテキストとの間で局所的対照学習を組み込むことで、胸部レントゲン画像におけるゼロショット分類性能が向上するか？
• RQ3 提案されたフレームワークは、レポート内容に意味的に対応する画像領域を強調することで、解釈可能性を向上させられるか？
• RQ4 LRCLRは、肺の透明度のような微細な病理を特定する点で、既存の対照フレームワークと比較して優れているか？
• RQ5 LRCLRのモジュラー設計は、多様な事前学習済みビジョン・ランゲージアーキテクチャとの互換性をどの程度実現できるか？

主な発見

• LRCLRは、CheXpertテストセットにおけるゼロショット分類性能を向上させ、特に肺の透明度という所見においてベースラインモデルを上回った。
• 注意可視化の結果、LRCLRは白い物質が合併症を示す可能性がある下葉肺領域など、臨床的に関連のある領域に注目していることが明らかになった。
• ベースライン手法が縁や背景領域を強調するのに対し、LRCLRの領域選択は、肺領域内の不確実性や異常な領域を優先している。
• 特定の画像領域とテキストプロンプトを結びつける注意スコアを生成することで、解釈可能性が向上し、放射線科医とコンピュータの協働可能性が高まった。
• ノイズが多いまたは複数の病変を有する画像では偶発的に一致がずれる場合もあったが、注意スコアによる領域フィルタリングにより、強調された領域の関連性が向上した。
• このフレームワークは、ベースアーキテクチャの再学習を伴わずに、さまざまな事前学習済み対照モデルと互換性があることが示された。

Figure 2: Overview of local region selection module.