[論文レビュー] Self-supervised Learning from 100 Million Medical Images

Florin C. Ghesu, Bogdan Georgescu+9 more|arXiv (Cornell University)|Jan 4, 2022

Radiomics and Machine Learning in Medical Imaging被引用数 26

ひとこと要約

本論文は対照学習とオンライン特徴クラスタリングを用いた自己教師付き学習法を提案し、100百万以上の医療画像で事前学習を行い、下流の異常検出を改善し、収束を加速する。

ABSTRACT

Building accurate and robust artificial intelligence systems for medical image assessment requires not only the research and design of advanced deep learning models but also the creation of large and curated sets of annotated training examples. Constructing such datasets, however, is often very costly -- due to the complex nature of annotation tasks and the high level of expertise required for the interpretation of medical images (e.g., expert radiologists). To counter this limitation, we propose a method for self-supervised learning of rich image features based on contrastive learning and online feature clustering. For this purpose we leverage large training datasets of over 100,000,000 medical images of various modalities, including radiography, computed tomography (CT), magnetic resonance (MR) imaging and ultrasonography. We propose to use these features to guide model training in supervised and hybrid self-supervised/supervised regime on various downstream tasks. We highlight a number of advantages of this strategy on challenging image assessment problems in radiography, CT and MR: 1) Significant increase in accuracy compared to the state-of-the-art (e.g., AUC boost of 3-7% for detection of abnormalities from chest radiography scans and hemorrhage detection on brain CT); 2) Acceleration of model convergence during training by up to 85% compared to using no pretraining (e.g., 83% when training a model for detection of brain metastases in MR scans); 3) Increase in robustness to various image augmentations, such as intensity variations, rotations or scaling reflective of data variation seen in the field.

研究の動機と目的

• Annotationコストを医療画像で削減するため、巨大な多 modality データセットから自己教師付き特徴学習を可能にする。
• オンラインクラスタリングを用いた対照学習フレームワークを開発し、下流タスクへ移植可能な表現を作成する。
• 胸部放射線写真の異常検出、MRIの脳転移検出、CTの脳出血検出でアプローチを検証する。
• 画像拡張への頑健性を示し、監視付きファインチューニング時の収束速度を向上させる。

提案手法

• swapped prediction loss を用いた対照学習とオンライン特徴クラスタリングに基づく自己教師付き学習法を提案する。
• K 個の学習可能プロトタイプのメモリ/プロトタイプセットを用いて特徴をクラスタへ割り当て、コードとプロトタイプ類似度間のクロスエントロピーで最適化する。
• 単一モダリティおよび多モダリティのクラスタリング戦略を、虚像解の防止のためエントロピー等分布制約とSinkhorn-Knopp正規化を導入して提案する。
• 自己教師付き損失と監視付き損失を組み合わせたハイブリッドな事前学習/ファインチューニング目的関数を設計し、バランス調整ハイパーパラメータを設ける。
• 多様な医用画像特有の拡張を設計：マルチスケールクロップ、エネルギーに基づく強度調整、ガンマ・リニア強度変換、ランダムクロップを含む。

実験結果

リサーチクエスチョン

• RQ1 100M+ の医用画像からの大規模自己教師付き事前学習は、監督付き事前学習または事前学習なしと比べて下流の診断タスクを改善するか。
• RQ2 多モダリティ事前学習は放射線写真、CT、MRI、超音波にわたってより頑健で転移可能な特徴を生み出すか。
• RQ3 提案するクラスタリングベースの対照学習は、医用画像タスクにおける収束速度と拡張への頑健性にどのように影響するか。

主な発見

方法	100%	50%	25%	10%
No pretraining	0.77	0.73	0.65	0.53
SimCLR	0.90	0.88	0.82	0.79
SwAV	0.90	0.89	0.85	0.80
Supervised NI	0.91	0.89	0.82	0.80
Ours	0.94	0.91	0.85	0.85

• 医用画像で自己教師付き事前学習を用いたとき、タスク全体で平均6-8%のAUC向上を示した。
• 下流の学習が事前学習なしと比べて最大85%の収束速度向上を示し、監督付き事前学習よりも大幅な速度向上を達成。
• 自己教師付き事前学習後は、強度変化、回転、スケーリングなどの画像拡張への頑健性が向上。
• 胸部放射線写真の異常検出、MRIの脳転移検出、CTの脳出血検出の各タスクで本アプローチの恩恵を受けた。