[論文レビュー] MoCo-Pretraining Improves Representations and Transferability of Chest X-ray Models

Hari Sowrirajan, Jing Yang+2 more|arXiv (Cornell University)|May 4, 2021

COVID-19 diagnosis using AI被引用数 10

ひとこと要約

本研究では、CheXpert上でMoCoの事前学習を施すことで、チアX線解釈における表現の質と転移性が著しく向上することを示している。ラベル付きデータをたった0.1%のみ使用した場合、線形評価ではAUCが0.096向上し、エンドツーエンドの微調整では0.037向上した。ラベルの割合にかかわらず一貫した改善が得られ、深セン肺結核データセットへの転移性も確認された。

ABSTRACT

Self-supervised approaches such as Momentum Contrast (MoCo) can leverage unlabeled data to produce pretrained models for subsequent fine-tuning on labeled data. While MoCo has demonstrated promising results on natural image classification tasks, its application to medical imaging tasks like chest X-ray interpretation has been limited. Chest X-ray interpretation is fundamentally different from natural image classification in ways that may limit the applicability of self-supervised approaches, including that (1) classification depends on differences in a small number of pixels, (2) X-rays are large and grayscale, (3) there are far fewer unlabeled chest X-ray images than natural images. In this work, we investigate whether MoCo-pretraining leads to better representations or initializations for chest X-ray interpretation. We conduct MoCo-pretraining on CheXpert, a large labeled dataset of X-rays, followed by supervised fine-tuning experiments on the pleural effusion task. Using 0.1% of labeled training data, we find that a linear model trained on MoCo-pretrained representations outperforms one trained on representations without MoCo-pretraining by an AUC of 0.096 (95% CI 0.061, 0.130), indicating that MoCo-pretrained representations are of higher quality. Furthermore, a model fine-tuned end-to-end with MoCo-pretraining outperforms its non-MoCo-pretrained counterpart by an AUC of 0.037 (95% CI 0.015, 0.062) with the 0.1% label fraction. These AUC improvements are observed for all label fractions for both the linear model and an end-to-end fine-tuned model with the greater improvements for smaller label fractions. Finally, we observe similar results on a small, target chest X-ray dataset (Shenzhen dataset for tuberculosis) with MoCo-pretraining done on the source dataset (CheXpert), which suggests that pretraining on unlabeled X-rays can provide transfer learning benefits for a target task. Our study demonstrates that MoCo-pretraining provides high-quality representations and transferable initializations for chest X-ray interpretation.

研究の動機と目的

• MoCo自己教師付き事前学習が、胸部X線画像の解釈における表現の質を向上させるかどうかを調査すること。
• 限られたラベル付きデータを用いた下流タスクへのMoCo事前学習済み特徴の転移性を評価すること。
• MoCo事前学習が、データが少ない状況下での微調整のためのより優れた初期化を提供するかどうかを評価すること。
• CheXpert（ソースデータセット）からShenzhen TBデータセット（ターゲットデータセット）への転移学習の利点を、MoCo事前学習を用いて検証すること。

提案手法

• 大規模なラベルなし胸部X線データセット（CheXpert）を用いて、MoCo（モーメンタムコントラスト）自己教師付き学習を実行し、汎用的な表現を学習した。
• 変動するラベル付きデータの割合を用いて、下流タスク（胸膜効果分類）においてMoCoで学習した特徴を微調整した。
• MoCo特徴を固定した線形プローブ（線形分類器）と、モデル全体を微調整するエンドツーエンドの微調整の両方の戦略を評価した。
• CheXpertで事前学習した特徴が、CheXpertとは異なるターゲットドメイン（深セン肺結核データセット）にどの程度効果的に転送できるかを検証するために、このデータセットをターゲットドメインとして使用した。
• 95%信頼区間を用いてAUCを測定し、改善の統計的有意性を評価した。
• 複数のラベル割合とデータセットにおいて、MoCo事前学習モデルと非事前学習ベースラインを比較した。

実験結果

リサーチクエスチョン

• RQ1 非事前学習モデルと比較して、MoCo事前学習が胸部X線画像の学習表現の質を向上させるか？
• RQ2 限られたラベル付きデータを用いた下流タスクにおいて、MoCo事前学習が転移学習性能をどの程度向上させるか？
• RQ3 線形学習とエンドツーエンド微調整の両設定において、異なるラベル割合におけるMoCo事前学習モデルの性能向上はどのように比較されるか？
• RQ4 CheXpertで事前学習したMoCo特徴は、深センデータセットの異なるターゲットタスク（例：結核検出）に効果的に転送可能か？

主な発見

• ラベル付きデータをたった0.1%のみ使用した場合、MoCo事前学習済み特徴を用いた線形モデルは、非事前学習ベースラインと比較してAUCが0.096向上した（95%信頼区間：0.061, 0.130）。
• エンドツーエンド微調整モデルにおいて、MoCo事前学習済み重みを用いた場合、0.1%のデータで非事前学習モデルと比較してAUCが0.037向上した（95%信頼区間：0.015, 0.062）。
• MoCo事前学習による性能向上は、すべてのラベル割合において一貫して観察され、特にデータが少ない状況で相対的に大きな改善が得られた。
• CheXpert（ソース）から深セン肺結核データセット（ターゲット）への転移学習においても、同様の性能向上が得られ、MoCo特徴の転移性が裏付けられた。
• MoCo事前学習により、極端にデータが少ない状況下でも、より高品質な表現が得られ、下流タスクへの一般化性能が向上した。
• 結果から、MoCo事前学習が胸部X線解釈において、より優れた表現とより優れたモデル初期化を両方提供することが示された。