[論文レビュー] Cats, not CAT scans: a study of dataset similarity in transfer learning for 2D medical image classification

Irma van den Brandt, Floris Fok+3 more|arXiv (Cornell University)|Jul 13, 2021

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本研究では、9つのソースデータセット（自然画像（例：ImageNet）から医療画像まで）を用いた2次元医療画像分類における転移学習を評価する。3つのターゲット医療データセットを対象とし、ImageNetが非医療由来であるにもかかわらず最高のパフォーマンスを示した。また、データセットの類似性に関する直感的な考え方は、転移成功の予測に不適切であることが判明し、医療画像分類におけるモデル選択に関する仮定に疑問を呈する。

ABSTRACT

Transfer learning is a commonly used strategy for medical image classification, especially via pretraining on source data and fine-tuning on target data. There is currently no consensus on how to choose appropriate source data, and in the literature we can find both evidence of favoring large natural image datasets such as ImageNet, and evidence of favoring more specialized medical datasets. In this paper we perform a systematic study with nine source datasets with natural or medical images, and three target medical datasets, all with 2D images. We find that ImageNet is the source leading to the highest performances, but also that larger datasets are not necessarily better. We also study different definitions of data similarity. We show that common intuitions about similarity may be inaccurate, and therefore not sufficient to predict an appropriate source a priori. Finally, we discuss several steps needed for further research in this field, especially with regard to other types (for example 3D) medical images. Our experiments and pretrained models are available via \url{https://www.github.com/vcheplygina/cats-scans}

研究の動機と目的

• ソースデータセットの起源（自然画像対医療画像）およびサイズが、2次元医療画像分類における転移学習パフォーマンスに与える影響を調査すること。
• データセット類似度の測定値が、特定のターゲット医療データセットに対して最適なソースデータセットを予測できるかどうかを評価すること。
• 医療画像におけるデータ類似度と転移可能性に関する現在の仮定の限界を特定すること。
• 公開リポジトリを通じた事前学習済みモデルおよびコードの共有により、再現可能性とリソース効率を向上させること。

提案手法

• 9つの多様なソースデータセットで事前学習を行い、その後3つの2次元医療ターゲットデータセットで微調整する、ResNet50に類似したアーキテクチャを用いた転移学習実験を実施した。
• 各データセットの類似度を定量化するために、データ駆動型でニューラルネットワークベースの表現をTask2Vecを用いて算出した。
• 画像モalityやコンテンツタイプなどの高レベルの特徴（例：画像モダリティ、コンテンツタイプ）を人間がアノテートしたデータを用い、専門家ベースの類似度測定を定義した。
• トップ1正確度やAUCといった標準的な指標を用いて、異なるソースデータセット間での転移パフォーマンスを比較した。
• 一貫した前処理（例：画像リサイズ）とトレーニングプロトコルを採用し、公平な比較を確保したが、ハイパーパrameterは網羅的なチューニングは行われなかった。
• すべてのモデルとコードをGitHubを通じて公開し、再現性を高めるとともに、計算コストと環境への影響を低減した。

実験結果

リサーチクエスチョン

• RQ1 ImageNetで事前学習することで、2次元医療画像分類において医療特化型のデータセットで事前学習する場合よりも高いパフォーマンスが得られるか？
• RQ2 データセットのサイズと起源（自然画像対医療画像）は、転移学習パフォーマンスにどのように影響するか？
• RQ3 データ駆動型または専門家定義の類似度測定値は、特定のターゲットデータセットに対して最も効果的なソースデータセットを予測できるか？
• RQ4 一般的なデータセット類似性に関する直感は、実際の転移パフォーマンスとどの程度相関しているか？
• RQ5 モデルアーキテクチャやデータモダリティ（例：2次元RGB対3次元モダリティ）は、転移可能性や類似度仮定の妥当性にどのように影響するか？

主な発見

• ImageNetは医療由来でないにもかかわらず、すべてのターゲット医療データセットで最高の転移学習パフォーマンスを達成した。医療特化型のソースデータセットを上回った。
• データセットのサイズが大きいからといって、必ずしも優れた転移パフォーマンスが得られるわけではない。小さな非医療データセットでも強力な結果をもたらす可能性がある。
• 視覚的またはクラスレベルの類似性といった一般的な直感的類似性は、実際の転移パフォーマンスと弱いもしくは相関がないことが判明した。
• 驚くべきことに、人間による評価やTask2Vecによる類似度が最も高いデータセットが、しばしば最も低いパフォーマンス向上を示した。これは当初の期待とは反対の結果であった。
• Task2Vecによる類似度測定はデータ駆動的ではあるが、ImageNetで学習されたバックボーンに依存しているため、バイアスが生じやすく、一般化能に制限がある可能性がある。
• 本研究では、特に3次元医療画像を含むより多様なデータセットの必要性を強調し、モデルリポジトリの共有を通じて重複と環境への影響を低減する必要性を提起した。