[論文レビュー] MoCo-CXR: MoCo Pretraining Improves Representation and Transferability of Chest X-ray Models

Hari Sowrirajan, Jingbo Yang+2 more|arXiv (Cornell University)|Oct 11, 2020

COVID-19 diagnosis using AI参考文献 28被引用数 52

ひとこと要約

MoCo-CXR は Momentum Contrast の事前学習を胸部X線に適用することで、ImageNet の事前学習より品質の高い表現を得られ、特にラベル付きデータが限られている場合に転移性能も向上します。

ABSTRACT

Contrastive learning is a form of self-supervision that can leverage unlabeled data to produce pretrained models. While contrastive learning has demonstrated promising results on natural image classification tasks, its application to medical imaging tasks like chest X-ray interpretation has been limited. In this work, we propose MoCo-CXR, which is an adaptation of the contrastive learning method Momentum Contrast (MoCo), to produce models with better representations and initializations for the detection of pathologies in chest X-rays. In detecting pleural effusion, we find that linear models trained on MoCo-CXR-pretrained representations outperform those without MoCo-CXR-pretrained representations, indicating that MoCo-CXR-pretrained representations are of higher-quality. End-to-end fine-tuning experiments reveal that a model initialized via MoCo-CXR-pretraining outperforms its non-MoCo-CXR-pretrained counterpart. We find that MoCo-CXR-pretraining provides the most benefit with limited labeled training data. Finally, we demonstrate similar results on a target Tuberculosis dataset unseen during pretraining, indicating that MoCo-CXR-pretraining endows models with representations and transferability that can be applied across chest X-ray datasets and tasks.

研究の動機と目的

• ラベルなしの胸部X線データを活用して、対照学習による頑健な表現を学習する。
• 胸部X線の特性に合わせて適切なデータ拡張と学習設定を用いて MoCo を適応させる。
• ラベルデータの程度を変えた条件下で、表現の品質と外部データセットへの転移性を評価する。
• MoCo-CXR の初期化を用いたエンドツーエンドのファインチューニングの利点を示す。
• MoCo-CXR が事前学習ドメインを超えた外部データセットへ転移することを示す。

提案手法

• CheXpert を用いた事前学習を、胸部X線特有の拡張（ランダム回転と左右反転）を含む修正済み MoCo 設定で行う。
• MoCo 前の収束利得を活かすため、ImageNet 重みから初期化する。
• 大きな X 線画像に適した小さいバッチサイズを可能にするため、モーメンタム・コントラストのキューを使用する。
• CheXpert と Shenzhen データで、さまざまなラベル割合と 2 つのバックボーン（ResNet18、DenseNet121）を用いてファインチューニングを行う。
• 凍結したバックボーン上の線形分類器で表現を評価し、エンドツーエンドのファインチューニング性能を評価する。
• 500 回の検定再現でブートストラップを用いて統計的有意性を評価する。

実験結果

リサーチクエスチョン

• RQ1 胸部X線タスクにおける線形評価で、MoCo-CXR の表現は ImageNet 事前学習表現を上回るか？
• RQ2 ラベル付きデータが少ない場合、MoCo-CXR の事前学習はより大きな恩恵をもたらすか？
• RQ3 CheXpert から学習した表現は、別タスクを持つ外部の胸部X線データセット（Shenzhen）へ転移できるか？
• RQ4 ImageNet 初期化と比較して MoCo-CXR 初期化はエンドツーエンドのファインチューニング性能を改善するか？

主な発見

• MoCo-CXR プリトレイン済みの線形モデルは一貫して ImageNet 事前学習済みの線形モデルを上回り、非常に少ないラベル割合で有意な改善を示す（例：0.1% ラベル時：0.096 AUC 改善; 95% 信頼区間 0.061, 0.130）。
• エンドツーエンドの MoCo-CXR プリトレインモデルは、低ラベルデータの割合でより大きな利得を示す（例：0.1%：0.037 AUC 改善; 95%CI 0.015, 0.062）。
• MoCo-CXR 表現は外部の Shenzhen 結核データセットへ転移し、線形モデルは ImageNet を上回り、ラベル割合 6.25% で 0.054 AUC（95% CI 0.024, 0.086）を達成。
• Shenzhen でのエンドツーエンド改善は線形転移より小さく、データが限られると飽和の可能性を示唆するが、依然として非ゼロの利得がある。
• MoCo-CXR の恩恵は CheXpert のタスク群（胸水など）にも継続し、ResNet18 と DenseNet121 の両方のバックボーンで有効である。