[論文レビュー] Transfusion: Understanding Transfer Learning for Medical Imaging

Maithra Raghu, Chiyuan Zhang+2 more|arXiv (Cornell University)|Feb 14, 2019

COVID-19 diagnosis using AI参考文献 40被引用数 642

ひとこと要約

ImageNet からの転移学習は、2つの大規模医用画像タスクに対して限定的な利得をもたらす。小型の軽量モデルも同等の性能を示し、特徴再利用は最下位層に限られ、追加の重みスケーリング利点が収束を助ける。

ABSTRACT

Transfer learning from natural image datasets, particularly ImageNet, using standard large models and corresponding pretrained weights has become a de-facto method for deep learning applications to medical imaging. However, there are fundamental differences in data sizes, features and task specifications between natural image classification and the target medical tasks, and there is little understanding of the effects of transfer. In this paper, we explore properties of transfer learning for medical imaging. A performance evaluation on two large scale medical imaging tasks shows that surprisingly, transfer offers little benefit to performance, and simple, lightweight models can perform comparably to ImageNet architectures. Investigating the learned representations and features, we find that some of the differences from transfer learning are due to the over-parametrization of standard models rather than sophisticated feature reuse. We isolate where useful feature reuse occurs, and outline the implications for more efficient model exploration. We also explore feature independent benefits of transfer arising from weight scalings.

研究の動機と目的

• 自然画像から医用画像タスクへの転移学習の有効性を動機づけ、評価する。
• 2つの大規模医療データセットで標準的なImageNetアーキテクチャと小型の軽量モデルを比較する。
• 学習済み表現を分析して特徴再利用を理解し、転移がどこで役立つかを特定する。
• 特徴再利用とは独立して重みの事前学習が収束速度に与える利点を調査する。
• 性能と計算効率のバランスをとるハイブリッド転送戦略を提案する。

提案手法

• ランダム初期化とImageNet事前学習の両方で、ResNet-50、Inception-v3、CBR と呼ばれる軽量CNNファミリーなど、複数のアーキテクチャを評価する。
• 2つの大規模医療データセット（網膜眼底画像とCheXpert胸部X線）を使用し、タスクごとにAUC-ROCを測定する。
• SVCCAを用いて訓練前後の表現類似性を分析し、隠れ層の表現を評価する。
• 事前学習済み重みのサブセットを再利用し、ネットワークのトップを再設計することで、ウェイト転送実験を行う。
• 重みによるスケーリング（Mean Var 初期化）を用いて、特徴再利用とは独立した転送の収束速度の利点を検討する。
• 訓練中に事前学習特徴がどう適応するかを理解するため、初期層フィルターを可視化する。

実験結果

リサーチクエスチョン

• RQ1 ImageNet からの転移学習は、ランダム初期化と比較して医用画像タスクの性能を改善するか。
• RQ2 軽量アーキテクチャは医用タスクでImageNetクラスのアーキテクチャと同等以上の性能を発揮できるか。
• RQ3 医用画像モデルにおいて、事前学習からの特徴再利用はネットワークのどこで発生するか。
• RQ4 事前学習済み重みは、特徴再利用とは独立して収束速度に影響を与えるか。
• RQ5 ハイブリッド転送戦略は、利点を維持しつつ、モデル設計の柔軟性を高められるか。

主な発見

• 転移学習は、医用タスクとアーキテクチャの両方で限られた性能向上をもたらす。
• 小型でシンプルなCNN（CBR）は、網膜とCheXpertタスクで標準のImageNetモデルと同等の性能を達成する。
• ImageNetのトップ5精度は、医療タスクの性能を予測しない。
• 表現分析は、大規模モデルは訓練中の変化が少なく、特徴再利用は主に最下位層に限定されることを示す。
• 特徴再利用とは独立した転送の利点として、収束を速める重みスケーリング（Mean Var 初期化）が存在する。
• ハイブリッド手法（最下層のみ再利用、あるいは軽量トップの再設計と併用、あるいは合成 conv1 特徴の使用）によって、フル転移学習と同等の性能を、追加の柔軟性とともに達成できる。