[論文レビュー] Improved skin lesion recognition by a Self-Supervised Curricular Deep Learning approach

Kirill Sirotkin, Marcos Escudero-Viñolo+2 more|arXiv (Cornell University)|Dec 22, 2021

Cutaneous Melanoma Detection and Management被引用数 5

ひとこと要約

本論文では、段階的複雑度の増加に従って順序付けられた事前学習タスクのシーケンスを用いて、ラベルなし皮膚鏡的画像上で畳み込みニューラルネットワークを事前学習する自己教師付きカリキュラム深層学習手法を提案する。この手法は、ISIC-2019皮膚病変分類ベンチマークで最先端の性能を達成し、ImageNet事前学習モデルや個々の事前学習タスク学習よりも優れており、モデルの注目を病変領域に集中させるとともに、事前学習時間を顕著に短縮する。

ABSTRACT

State-of-the-art deep learning approaches for skin lesion recognition often require pretraining on larger and more varied datasets, to overcome the generalization limitations derived from the reduced size of the skin lesion imaging datasets. ImageNet is often used as the pretraining dataset, but its transferring potential is hindered by the domain gap between the source dataset and the target dermatoscopic scenario. In this work, we introduce a novel pretraining approach that sequentially trains a series of Self-Supervised Learning pretext tasks and only requires the unlabeled skin lesion imaging data. We present a simple methodology to establish an ordering that defines a pretext task curriculum. For the multi-class skin lesion classification problem, and ISIC-2019 dataset, we provide experimental evidence showing that: i) a model pretrained by a curriculum of pretext tasks outperforms models pretrained by individual pretext tasks, and ii) a model pretrained by the optimal pretext task curriculum outperforms a model pretrained on ImageNet. We demonstrate that this performance gain is related to the fact that the curriculum of pretext tasks better focuses the attention of the final model on the skin lesion. Beyond performance improvement, this strategy allows for a large reduction in the training time with respect to ImageNet pretraining, which is especially advantageous for network architectures tailored for a specific problem.

研究の動機と目的

• ラベル付きデータが不足する小規模で専門的な医療画像データセット（例：ISIC-2019）における深層学習モデルの性能が低いという問題に対処する。
• ImageNetと皮膚鏡的画像とのドメインギャップを解消するため、ターゲットドメインのデータに限定して自己教師付き事前学習を用いる。
• 自己教師付き事前学習タスクの最適なカリキュラムを設計することで、モデルの汎化性能を向上させるとともに、皮膚病変への注目を強化する。
• 特にカスタムまたはタスク固有のネットワークアーキテクチャにおいて、ImageNet事前学習と比較して計算コストを低減する。
• 事前学習タスクの順序が下流の性能および表現類似性に与える影響を調査する。

提案手法

• 本手法は、回転予測（ODC）、相対的位置、および対照的学習（MoCo v2）といった自己教師付き事前学習タスクのシーケンスを、カリキュラムの順序で用いる。
• 個々の事前学習タスクの下流分類精度に基づいてカリキュラム順序戦略を確立し、より高い性能を示すタスクを優先する。
• モデルは、ラベルなしのISIC-2019データセットを用いて、この順序付き事前学習タスクパイプラインで事前学習した後、ラベル付き分類タスクで微調整する。
• 特徴空間の整合性を評価し、カリキュラム設計を支援するために、中央カーネル整合性（CKA）を用いて事前学習タスク間の表現類似性を分析する。
• 事前学習にImageNetに依存しないように、ラベルなし皮膚鏡的画像のみを活用する。
• 定性的分析には、クラスアクティベーションマップ（CAMs）を用い、病変領域およびその縁への注目度を評価する。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き事前学習タスクのカリキュラムは、個々の事前学習タスクと比較して皮膚病変分類の正確性を向上させるか？
• RQ2 ターゲットドメインのデータに限定した自己教師付きカリキュラムは、ImageNetで教師付き事前学習を上回る皮膚病変認識性能を達成できるか？
• RQ3 事前学習タスクの順序が最終モデルの性能および注目度に与える影響はいかほどか？
• RQ4 異なる事前学習タスクから得られた表現の類似度はどの程度で、これがカリキュラムの結果にどのように影響するか？
• RQ5 CKAのような表現類似性メトリクスは、最適な事前学習タスクカリキュラムの自動構築を支援できるか？

主な発見

• カリキュラムに最適化された事前学習タスクのシーケンスを用いたモデルは、ISIC-2019データセットで72.8%のトップ-1正確度を達成し、ImageNet事前学習ベースラインを上回った。
• 最適なカリキュラムは、個々の事前学習タスクで事前学習したモデルよりも優れた性能を示し、順次的かつ順序付けられた事前学習の利点を実証した。
• カリキュラムベースのアプローチにより、病変領域への注目が強化されたことが、病変領域でより強い活性化を示すクラスアクティベーションマップにより確認された。
• 本手法で提案されたカリキュラムを用いたISIC-2019データセット上の事前学習は、ImageNet事前学習と比較して著しく短時間で実行可能であり、特にカスタムアーキテクチャにおいて顕著であった。
• CKA分析により、ODCとMoCo v2は非常に類似した表現を生成した一方、相対的位置特徴は類似していなかった。これは、カリキュラムシーケンスにおける性能差を説明する要因となった。
• 全カリキュラム（3つのタスクすべて）は、混合および逆順カリキュラムよりも優れた性能を示したが、必ずしも最良ではなかった。これは、タスク数よりも、表現類似性とタスク順序の重要性が顕著であることを示唆している。