[論文レビュー] An Evaluation of Self-Supervised Pre-Training for Skin-Lesion Analysis

Levy Chaves, Alceu Bissoto+2 more|arXiv (Cornell University)|Jun 17, 2021

Cutaneous Melanoma Detection and Management被引用数 4

ひとこと要約

本稿は、皮膚病変分類のための自己教師あり事前学習手法—BYOL、InfoMin、MoCo、SimCLR、SwAV—を、イン-ドメインおよびアウト・オブ・ドメインのサンプルを含む5つのデータセットにおいて、教師あり ImageNet ベースラインと比較して評価している。自己教師あり学習は、特にデータが少ない状況（150件未塔）において、正確性を著しく向上させるとともに、性能のばらつきを低減し、医療画像解析における優れた安定性と頑健性を示している。

ABSTRACT

Self-supervised pre-training appears as an advantageous alternative to supervised pre-trained for transfer learning. By synthesizing annotations on pretext tasks, self-supervision allows to pre-train models on large amounts of pseudo-labels before fine-tuning them on the target task. In this work, we assess self-supervision for the diagnosis of skin lesions, comparing three self-supervised pipelines to a challenging supervised baseline, on five test datasets comprising in- and out-of-distribution samples. Our results show that self-supervision is competitive both in improving accuracies and in reducing the variability of outcomes. Self-supervision proves particularly useful for low training data scenarios ($<1\,500$ and $<150$ samples), where its ability to stabilize the outcomes is essential to provide sound results.

研究の動機と目的

• 自己教師あり事前学習が皮膚病変分類において教師あり事前学習と比較してどの程度効果的であるかを評価すること。
• イン-ドメインおよびアウト・オブ・ドメインのテストセットを含む多様なデータセットにおける性能を評価すること。
• 自己教師あり学習が、最小で148件のサンプルにまで制限された低データ学習環境でどのような影響を及ぼすかを調査すること。
• 自己教師ありモデルが教師ありベースラインと比較して、より頑健で一般化可能な表現を学習しているかどうかを分析すること。
• 対照的学習を、微調整の前の段階としての中間的事前学習ステップとしての有効性を検討すること。

提案手法

• ResNet-50 をバックボーンとして使用し、5つの自己教師あり事前学習手法（BYOL、InfoMin、MoCo、SimCLR、SwAV）を採用した。
• 対照的学習、回転予測、インスタンス識別といった事前学習タスクを用いて ImageNet で事前学習した。
• 2段階の転移学習プロトコルを適用：事前学習タスクで自己教師あり学習を行い、その後、ターゲットの皮膚病変データセットで微調整した。
• 対照的学習のための正例ペアを生成するために、データオーグメンテーション戦略（クロップ、カラー・ジェッタ、ガウスノイズ）を用いた。
• 5つの公開皮膚病変データセット（ISIC 2017、2018、2019、HAM10000、Derm7pt）を評価対象とし、イン-ドメインおよびアウト・オブ・ドメインのスプリットを含んだ。
• 勾配フリーの可視化手法 Score-CAM を用いて、モデルの意思決定を解釈し、特徴マップの活性化パターンを比較した。

実験結果

リサーチクエスチョン

• RQ1 多様なデータセットにおいて、自己教師あり事前学習手法は、皮膚病変分類の正確性において教師あり ImageNet ベースラインと比べてどの程度優れているか？
• RQ2 自己教師あり事前学習は、低データ学習状況（例：150件未満）において性能を向上させ、ばらつきを低減するか？
• RQ3 自己教師ありモデルは、教師ありベースラインと比較して、アウト・オブ・ドメインのテストセットでどの程度の性能を示すか？
• RQ4 自己教師ありモデルと教師ありモデルとの間で、特徴の活性化パターンや注視マップにどのような差が生じるか？
• RQ5 対照的学習に基づく自己教師あり事前学習は、医療画像分野において、教師あり事前学習の安定的で効果的な代替手段として機能するか？

主な発見

• 自己教師あり事前学習は、全5つのテストデータセットにおいて、平均正確度の観点で教師あり ImageNet ベースラインを一貫して上回った。
• 自己教師ありモデルでは、繰り返し実行した際の性能ばらつきが顕著に低く、特に低データ環境で顕著であった。
• 1%の学習データ環境（148件）では、自己教師ありモデルが性能のばらつきを低減し、平均正確度を教師ありベースラインよりも向上させた。
• BYOL、SimCLR、SwAV が自己教師あり手法の中で最も優れた性能を示し、教師ありベースラインよりも高い正確度とより安定した予測を達成した。
• Score-CAM の可視化により、自己教師ありモデルが、特に低データ環境において、より一貫性があり生物学的に妥当な病変領域に注目していることが明らかになった。
• 2段階の事前学習パイプライン—自己教師あり事前学習の後、微調整を行う—は、データが少ない状況下で結果の安定化に特に効果的であった。