[論文レビュー] Self-supervised learning for skin cancer diagnosis with limited training data

Hamish Haggerty, Rohitash Chandra|arXiv (Cornell University)|Jan 1, 2024

Cutaneous Melanoma Detection and Management被引用数 4

ひとこと要約

本論文は、限られたラベル付きデータを用いた皮膚がん診断のための自己教師付き学習（SSL）を、Barlow Twinsを用いて提案する。ImageNetで事前学習したSSLが、従来の教師あり事前学習（ResNet-50）を上回り、テスト精度70%を達成したのに対し、従来法は66%であった。さらに、ラベルなし皮膚腫瘍画像を用いた2度目のSSL事前学習後に微調整することで、追加の性能向上が得られ、高価なラベル付け作業に代わるスケーラブルな代替手段を提供する。

ABSTRACT

Early cancer detection is crucial for prognosis, but many cancer types lack large labelled datasets required for developing deep learning models. This paper investigates self-supervised learning (SSL) as an alternative to the standard supervised pre-training on ImageNet for scenarios with limited training data using a deep learning model (ResNet-50). We first demonstrate that SSL pre-training on ImageNet (via the Barlow Twins SSL algorithm) outperforms supervised pre-training (SL) using a skin lesion dataset with limited training samples. We then consider extit{further} SSL pre-training (of the two ImageNet pre-trained models) on task-specific datasets, where our implementation is motivated by supervised transfer learning. This approach significantly enhances initially SL pre-trained models, closing the performance gap with initially SSL pre-trained ones. Surprisingly, further pre-training on just the limited fine-tuning data achieves this performance equivalence. Linear probe experiments reveal that improvement stems from enhanced feature extraction. Hence, we find that minimal further SSL pre-training on task-specific data can be as effective as large-scale SSL pre-training on ImageNet for medical image classification tasks with limited labelled data. We validate these results on an oral cancer histopathology dataset, suggesting broader applicability across medical imaging domains facing labelled data scarcity.

研究の動機と目的

• 希少または過小診断がちながんの診断において、限られたおよび不均衡なラベル付き医療画像データセットの課題に対処すること。
• 皮膚がん分類において、低データ環境下で自己教師付き事前学習が、従来の教師あり転移学習を上回るかを調査すること。
• ラベルなしターゲットドメインデータ（皮膚腫瘍）を用いた追加の自己教師付き事前学習が、追加のラベル付けを伴わずに性能向上に寄与するかを検討すること。
• さまざまなモデルアーキテクチャーやデータスケールにおいて、SSLと教師あり事前学習の有効性を評価すること。
• 他の低リソース医療画像分類タスクに適用可能なスケーラブルでデータ効率の良いフレームワークを提供すること。

提案手法

• ImageNetを用いて、ラベルなしで一般化可能な特徴を学習するため、ResNet-50バックボーンをBarlow Twinsの対照的自己教師付き学習アルゴリズムで事前学習する。
• 小規模なラベル付き皮膚腫瘍データセット（ISIC）を用いて、事前学習済みのSSLモデルを微調整し、二値または多クラス皮膚がん分類を実行する。
• 同じResNet-50をImageNetで教師ありラベル付きで事前学習した標準的な教師あり転移学習ベースラインと性能を比較する。
• ラベルなし皮膚腫瘍画像を用いて、Barlow Twinsを用いて2度目の自己教師付き事前学習ステップを実施し、最終的な微調整の前に特徴表現をさらに向上させる。
• SSL事前学習中に、既知の有効性を持つ標準的なデータ拡張戦略（例：クロップ、カラーのジャマ）を適用する。
• 標準的な指標（正確性とバランス正確性）を用いて、大規模なホールドアウトテストセットでモデルを評価する。

Figure 1: A residual block [ 24 ]

実験結果

リサーチクエスチョン

• RQ1 限られたラベル付きデータ下で、ImageNetで事前学習したBarlow Twinsによる自己教師付き学習が、皮膚がん診断において教師あり事前学習を上回るか？
• RQ2 ラベルなし皮膚腫瘍画像を用いた追加の自己教師付き事前学習が、ImageNet事前学習を上回る分類性能向上をもたらすか？
• RQ3 モデルサイズの拡大（例：ResNet-50より10倍以上のパラメータを有するモデル）が、ImageNetでSSLで事前学習した場合に転移性能を向上させるか？
• RQ4 クラス不均衡な医療画像データセットの文脈において、SSLの転移性能は教師あり転移と比べてどのように異なるか？
• RQ5 提案されたSSLフレームワークは、他の低リソース医療画像分類問題へ一般化可能か？

主な発見

• Barlow Twinsによる自己教師付き事前学習は、ISIC皮膚腫瘍データセットで平均70%のテスト正確性を達成し、教師あり転移ベースラインの66%を上回った。
• ラベルなし皮膚腫瘍画像を用いた2度目の自己教師付き事前学習により、さらなる性能向上が得られ、ラベル付けコストの高い作業に代わる、より多くのラベルなしデータ収集が有効であることが示唆された。
• ImageNetでSSLで事前学習した、ResNet-50より10倍以上のパラメータを有するより大きなモデルを用いても、転移性能の向上は得られず、この設定下ではモデルスケールそのものがSSL転移性能を向上させないことが示された。
• SSLと教師あり転移の間の性能差は顕著であり、低データ条件下でSSLは正確性で4ポイントの向上を示した。
• 結果から、特にターゲットドメインでの自己教師付き学習を組み合わせた場合、SSL転移が低ラベルデータ環境下で教師あり転移を上回る優れた戦略であると示唆された。
• このフレームワークは一般化可能であり、口腔がんや膵がん診断など、ラベル付きデータが限られる他の医療画像分類タスクにも適用可能である。

Figure 2: Joint embedding architecture