[論文レビュー] Comparing to Learn: Surpassing ImageNet Pretraining on Radiographs By Comparing Image Representations

Hong-Yu Zhou, Shuang Yu+4 more|arXiv (Cornell University)|Jul 15, 2020

COVID-19 diagnosis using AI参考文献 14被引用数 11

ひとこと要約

本論文では、アノテーションなしで画像表現を比較することで頑健な特徴を学ぶ自己教師あり事前学習手法であるComparing to Learn (C2L) を提案する。70万枚のアノテーションなしレントゲン画像を用い、バッチミックスアップとモーメンタムベースの学生・教師対照的フレームワークを活用することで、C2LはImageNet事前学習および最先端のベースラインを上回り、DenseNet-121を用いた場合、ChestX-ray14では最大2.0%高いAUROC、CheXpertでは1.4%高いAUROCを達成した。

ABSTRACT

In deep learning era, pretrained models play an important role in medical image analysis, in which ImageNet pretraining has been widely adopted as the best way. However, it is undeniable that there exists an obvious domain gap between natural images and medical images. To bridge this gap, we propose a new pretraining method which learns from 700k radiographs given no manual annotations. We call our method as Comparing to Learn (C2L) because it learns robust features by comparing different image representations. To verify the effectiveness of C2L, we conduct comprehensive ablation studies and evaluate it on different tasks and datasets. The experimental results on radiographs show that C2L can outperform ImageNet pretraining and previous state-of-the-art approaches significantly. Code and models are available.

研究の動機と目的

• ImageNet事前学習で用いられる自然画像と医用レントゲン画像のドメインギャップを解消するため、ラベルなし医用画像から直接表現を学ぶこと。
• 高価な医用アノテーションに依存しない自己教師あり事前学習手法を開発し、下流タスクの性能を向上させること。
• 医用画像表現の比較による学習が、ImageNet事前学習の一般化性能を上回るかどうかを検証すること。
• 特徴レベルの類似度に基づく対照的学習が、レントゲン画像タスクに優れた表現をもたらすことを示すこと。

提案手法

• C2Lは、学生ネットワークがバックプロパゲーションで更新され、教師ネットワークがモーメンタム更新則に従って更新されるモーメンタムベースの学生・教師フレームワークを用いる。
• 本手法は、増強された画像バッチから同種および異種の画像ペアを生成するバッチワイドミックスアップを適用し、画像および特徴レベルの両方で対照的学習を可能にする。
• 教師ネットワークの出力特徴に特徴ミックスアップを適用して追加の正例ペアを生成し、表現学習を強化する。
• メモリキューは、対照的損失計算時に負例キーとして使用される、教師ネットワークの過去の特徴を格納する。
• 対照的損失は、予測類似度スコアとワンホットの真値との交差エントロピーとして計算され、正例ペアは同じ画像からの一致する特徴であり、負例ペアはメモリキューからのものである。
• 訓練プロセスは、増強済みおよび混合バッチに対する順伝播を交互に実行し、学生ネットワークは対照的損失で学習され、教師ネットワークはモーメンタムで更新される。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしレントゲン画像における自己教師あり表現学習は、医用画像解析においてImageNet事前学習を上回ることができるか？
• RQ2 ミックスアップと対照的損失を用いた画像表現の比較による学習は、従来の画像修復や再構成の事前学習タスクに比べ、より頑健な特徴をもたらすか？
• RQ3 C2Lは、Model Genesis や MoCo といった最先端の自己教師あり手法と比較して、多様なレントゲン画像タスクおよびデータセットでどのように性能を発揮するか？
• RQ4 提案されたミックスアップおよびモーメンタム対照的フレームワークは、リソースが限られた医用画像認識の状況で一般化性能をどの程度向上させるか？

主な発見

• ChestX-ray14データセットでは、DenseNet-121を用いてC2Lが平均84.4%のAUROCを達成し、ImageNet事前学習を1.5ポイント上回った。
• CheXpertでは、DenseNet-121を用いてC2Lが平均89.3%のAUROCを達成し、ImageNet事前学習を1.4ポイント上回った。
• Kaggle Pneumonia Detectionデータセットでは、C2Lが0.6の信頼度閾値で平均平均適合率23.9%を達成し、ImageNet事前学習（22.2%）およびMoCo（22.4%）を顕著に上回った。
• C2Lは、評価されたすべてのデータセットおよびアーキテクチャで、Model Genesis や MoCo を一貫して上回り、ドメイン固有の表現学習における優位性を示した。
• アブレーションスタディにより、バッチミックスアップと特徴ミックスアップの両方が性能向上に顕著な貢献していることが確認され、モーメンタム対照的メカニズムが特徴の識別性を向上させた。
• 本手法は人為的アノテーションデータを一切使用せず、最先端の結果を達成した。これは、ペairされないラベルなしレントゲン画像における表現比較が、ImageNet事前学習を上回る優れた特徴をもたらす可能性を示している。