[論文レビュー] Representative Image Feature Extraction via Contrastive Learning Pretraining for Chest X-ray Report Generation

Yu-Jen Chen, Wei-Hsiang Shen+7 more|arXiv (Cornell University)|Sep 4, 2022

Multimodal Machine Learning Applications被引用数 12

ひとこと要約

本論文は、胸部X線画像のみを用いて視覚エンコーダーを事前学習する対照学習ベースのフレームワークを提案し、特徴学習を肺領域に向かせるために肺領域のセグメンテーションをデータ拡張として導入する。この手法は、IU X-rayおよびMIMIC-CXRデータセットにおいて最先端の性能を達成し、BLEUおよびROUGEスコアを向上させるとともに、ベースラインの対照学習（セグメンテーションなし）と比較してより正確で肺に焦点を当てた記述を生成する。

ABSTRACT

Medical report generation is a challenging task since it is time-consuming and requires expertise from experienced radiologists. The goal of medical report generation is to accurately capture and describe the image findings. Previous works pretrain their visual encoding neural networks with large datasets in different domains, which cannot learn general visual representation in the specific medical domain. In this work, we propose a medical report generation framework that uses a contrastive learning approach to pretrain the visual encoder and requires no additional meta information. In addition, we adopt lung segmentation as an augmentation method in the contrastive learning framework. This segmentation guides the network to focus on encoding the visual feature within the lung region. Experimental results show that the proposed framework improves the performance and the quality of the generated medical reports both quantitatively and qualitatively.

研究の動機と目的

• 非医療分野のデータセットを用いた視覚エンコーダーの事前学習には、胸部X線画像に特有の特徴を捉えられないという限界があるため、これを是正すること。
• 視覚的表現学習を肺領域に焦点を当てることで、生成レポートの質と正確性を向上させること。
• 追加のメタデータや外部データセットを一切必要としない自己教師あり事前学習手法を開発すること。
• 肺領域のセグメンテーションをデータ拡張戦略として用いることで、医療レポート生成のための特徴学習が向上するかどうかを評価すること。

提案手法

• 外部データセットやメタデータを一切使用せず、胸部X線画像のみを用いて対照学習（CL）で視覚エンコーダーを事前学習する。
• モデルが肺領域に注目し、特徴を学習するよう導くために、肺領域のセグメンテーションマスクをデータ拡張手法として導入する。
• 同一画像の正例（拡張済み画像）同士の類似度を最大化し、負例同士の類似度を最小化するため、インスタンス識別型対照損失を適用する。
• 教師あり損失を用いて、画像とレポートのペairedデータを用いて、エンドツーエンドのモデル全体を微調整する。
• 事前学習済みエンコーダーを、最先端のレポート生成モデル（例：R2Gen、Transformer）における特徴抽出器として用い、移譲性を評価する。
• 標準的な指標（BLEU、ROUGE）および肺関連所見のMeSHタグF1スコアを用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 非医療分野のデータセットを用いた事前学習に比べ、胸部X線画像のみを用いた対照学習による事前学習が、医療レポート生成のための視覚的表現を向上させられるか？
• RQ2 対照学習に肺領域のセグメンテーションをデータ拡張として組み込むことで、肺異常の記述がより正確で詳細になるか？
• RQ3 本手法は、既存の最先端モデルと比較して、定量的および定性的にどのように優れているか？
• RQ4 本手法で得られたCL事前学習済みエンコーダーは、他のレポート生成アーキテクチャへどの程度一般化可能か？
• RQ5 標準的な対照学習と比較して、肺領域の病変に関する記述がどの程度正確に生成されるか？

主な発見

• 提案手法は、IU X-rayおよびMIMIC-CXRデータセットの両方で最先端性能を達成し、BLEU-1スコアはそれぞれ0.466および0.359を記録し、先行手法を上回った。
• R2GenモデルにMoCoを用いた事前学習を適用することで、IU X-rayではBLEU-1が0.455から0.466に、MIMIC-CXRでは0.354から0.359に向上し、移譲性が裏付けられた。
• 肺領域のセグメンテーションの導入により、肺関連MeSHタグのF1スコアが上昇した—例として気胸（0.808 vs. 0.752）および石灰化（0.120 vs. 0.030）—、肺所見の局在化が向上したことを示した。
• 定性的分析の結果、肺領域のセグメンテーションを用いたモデルは3例中3例で肺容量の低下を正しく記述したが、標準的なCLモデルは肺が拡張していると誤って記述した。
• 肺領域のセグメンテーションを用いたモデルは、定量的指標および定性的な人間評価の両方で、肺領域に関するより正確で詳細な記述を生成した。
• アブレーションスタディの結果、肺領域のセグメンテーションは肺病変の特異性を向上させる一方で、全体のレポート品質に顕著な悪影響を与えないことが確認された。