[論文レビュー] MedAug: Contrastive learning leveraging patient metadata improves representations for chest X-ray interpretation

Yen Nhi Truong Vu, Richard Wang+4 more|arXiv (Cornell University)|Feb 21, 2021

COVID-19 diagnosis using AI参考文献 19被引用数 27

ひとこと要約

MedAug は患者のメタデータを用いて画像間のポジティブペアを形成し、対照的 pretraining を強化することで、患者ごとに複数の画像を活用して胸部X線の胸膜腔積液分類の性能を向上させる。メタデータを用いたネガティブペア戦略は明確な利点を示さなかった。

ABSTRACT

Self-supervised contrastive learning between pairs of multiple views of the same image has been shown to successfully leverage unlabeled data to produce meaningful visual representations for both natural and medical images. However, there has been limited work on determining how to select pairs for medical images, where availability of patient metadata can be leveraged to improve representations. In this work, we develop a method to select positive pairs coming from views of possibly different images through the use of patient metadata. We compare strategies for selecting positive pairs for chest X-ray interpretation including requiring them to be from the same patient, imaging study or laterality. We evaluate downstream task performance by fine-tuning the linear layer on 1% of the labeled dataset for pleural effusion classification. Our best performing positive pair selection strategy, which involves using images from the same patient from the same study across all lateralities, achieves a performance increase of 14.4% in mean AUC from the ImageNet pretrained baseline. Our controlled experiments show that the keys to improving downstream performance on disease classification are (1) using patient metadata to appropriately create positive pairs from different images with the same underlying pathologies, and (2) maximizing the number of different images used in query pairing. In addition, we explore leveraging patient metadata to select hard negative pairs for contrastive learning, but do not find improvement over baselines that do not use metadata. Our method is broadly applicable to medical image interpretation and allows flexibility for incorporating medical insights in choosing pairs for contrastive learning.

研究の動機と目的

• 医用画像における自己教師あり対比学習を、患者メタデータを用いて改善する動機づけ。
• 患者の属性を共有する複数の画像からポジティブペアを形成する、柔軟な手法（MedAug）を開発する。
• 限られたラベルでの胸部X線の胸膜腔積液分類における下流タスクの改善を定量化する。
• どのメタデータ（患者、検査、左右）が表現品質に最も寄与するかを分析する。
• メタデータを活用したネガティブペア戦略を検討し、その影響を評価する。

提案手法

• 同一患者の画像を収集して、基準 c（例：同じ検査、同じ/異なる左右）を満たす拡張セットを生成する MedAug を提案する。
• ResNet-18 を用いた MoCo v2 の事前学習を、20 エポック、バッチサイズ 16、学習率 1e-4、温度 0.2、MLP プロジェクションを用いて実施する。
• 固定化されたエンコーダ出力上で線形分類器を微調整し、1% のラベルデータでエンドツーエンドの微調整も行う。
• 同一患者、さまざまな検査/左右の構成など、異なる基準 c を評価してポジティブペアを形成する。
• ImageNet および MoCo v2 ベースラインと比較し、平均 AUC と標準偏差を報告する。
• オプションとして、メタデータ（左右）に基づくネガティブペア戦略とその効果を分析する。

実験結果

リサーチクエスチョン

• RQ1 患者のメタデータを取り入れてポジティブペアを形成することは、医用画像タスクの事前学習表現を改善するか？
• RQ2 どのメタデータの手掛かり（患者、検査、左右）が下流の胸膜腔積液分類性能を最も改善するか？
• RQ3 ポジティブペアに含める異なる画像数を増やすことは表現品質に有益か？
• RQ4 メタデータ情報を活用したネガティブペア戦略は、標準的な MoCo ベースラインより利益をもたらすか？
• RQ5 メタデータベースポジティブペアは、胸膜腔積液以外の CheXpert のタスクにも適用して性能を改善するか？

主な発見

Criteria c for creating S_c(x)	Linear	End-to-end
Baseline: ImageNet	0.766±0.009	0.858±0.011
MoCo v2 baseline (Sowrirajan et al., 2020)	0.847±0.007	0.881±0.017
MoCo v2 baseline with random crop scale	0.864±0.005	0.890±0.026
Same patient, same study, same laterality	0.862±0.004	0.894±0.013
Same patient, same study, distinct lateralities	0.865±0.008	0.897±0.008
Same patient, same study	0.876±0.013	0.902±0.007
Same patient, all studies	0.859±0.006	0.877±0.012
Same patient, distinct studies	0.848±0.007	0.874±0.013
Same patient, same study with random crop scale	0.883±0.005	0.906±0.015

• 最良のポジティブペア戦略（同一患者、同一検査、すべての左右）により、ベースライン MoCo v2 設定より線形 AUC が 3.4%、エンドツーエンド AUC が 2.4% 改善される。
• 同一患者の画像を用いてポジティブペアを選択することは一般に AUC を改善するが、検査番号が異なる画像を含める設定では一部で例外がある。
• 同一患者、同一検査、すべての左右といったポジティブペアの画像集合を増やすと下流の性能が向上する。
• メタデータを用いたネガティブペア戦略（特に左右）は、AUC ではデフォルトのメタデータなし MoCo ベースラインを上回らなかった。
• CheXpert のタスク全体で、最良のメタデータベースアプローチ（同一患者・同一検査）は線形微調整で常に ImageNet および MoCo ベースラインを上回った。
• 探索的なネガティブペア分析は一貫した利点を生まなかった。