[論文レビュー] Deep Transfer Learning for Automated Diagnosis of Skin Lesions from Photographs

Emma Rocheteau, Doyoon Kim|arXiv (Cornell University)|Nov 6, 2020

Cutaneous Melanoma Detection and Management参考文献 35被引用数 4

ひとこと要約

本研究では、ImageNetで事前学習されたモデルを用いた微調整を適用し、スマートフォン画像からメラノーマを自動的に検出するための転移学習の有効性を検証した。ISIC 2020データセットで微調整されたImageNet事前学習モデルを用いたEfficientNetが最も高い性能を示し、AUROC 0.975 ± 0.002、AUPRC 0.906 ± 0.006を達成した。これは、一般医（AUROC 0.83 ± 0.03）および皮膚科医（AUROC 0.91 ± 0.02）を上回った。

ABSTRACT

Melanoma is not the most common form of skin cancer, but it is the most deadly. Currently, the disease is diagnosed by expert dermatologists, which is costly and requires timely access to medical treatment. Recent advances in deep learning have the potential to improve diagnostic performance, expedite urgent referrals and reduce burden on clinicians. Through smart phones, the technology could reach people who would not normally have access to such healthcare services, e.g. in remote parts of the world, due to financial constraints or in 2020, COVID-19 cancellations. To this end, we have investigated various transfer learning approaches by leveraging model parameters pre-trained on ImageNet with finetuning on melanoma detection. We compare EfficientNet, MnasNet, MobileNet, DenseNet, SqueezeNet, ShuffleNet, GoogleNet, ResNet, ResNeXt, VGG and a simple CNN with and without transfer learning. We find the mobile network, EfficientNet (with transfer learning) achieves the best mean performance with an area under the receiver operating characteristic curve (AUROC) of 0.931$\pm$0.005 and an area under the precision recall curve (AUPRC) of 0.840$\pm$0.010. This is significantly better than general practitioners (0.83$\pm$0.03 AUROC) and dermatologists (0.91$\pm$0.02 AUROC).

研究の動機と目的

• スマートフォンで撮影した皮膚病変画像からメラノーマを自動診断するための、ImageNet事前学習モデルを用いた転移学習の有効性を評価すること。
• MobileNetからEfficientNetまでの11種類の深層学習アーキテクチャの、メラノーマ対良性皮膚病変の二値分類性能を比較すること。
• 実臨床データを用いて、転移学習が一般医および皮膚科医の診断精度を超える可能性があるかどうかを評価すること。
• 統合勾配法を用いて特徴の重要度を可視化することで、モデルの解釈可能性を調査すること。
• プライバシー保護に配慮した分散型皮膚がんスクリーニングを実現するため、高精度かつ軽量なモデルをモバイルデバイスにデプロイ可能かどうかを検討すること。

提案手法

• 転移学習は、ImageNetで事前学習された重みでモデルを初期化し、ISIC 2020データセットで微調整することで実施した。このデータセットには、2％のメラノーマ頻度を有する37,648枚の皮膚病変画像が含まれる。
• 比較のためのベースラインとして、転移学習を用いない5層の標準CNNを訓練した。
• トレーニング中にデータ拡張を実施し、ランダムな回転、反転、明るさおよび彩度のシフトを適用することで、モデルのロバスト性と一般化性能を向上させた。
• 特徴の帰属度を計算するために統合勾配法を用い、黒色のベースラインから入力画像までのパスに沿って勾配を統合した。
• モデルの性能は、AUROC、AUPRC、適合率、再現率を用いて評価し、すべての指標で統計的有意性の検定を実施した。
• 静的患者特徴（年齢、性別、身体部位）は別途処理され、最終予測の前にCNNの特徴出力を連結した。

実験結果

リサーチクエスチョン

• RQ1 ImageNet事前学習モデルを用いた転移学習は、訓練から開始する場合と比較して、メラノーマ検出性能を顕著に向上させるか？
• RQ2 ISIC 2020皮膚病変分類タスクにおいて、どの深層ニューラルネットワークアーキテクチャが最高の診断性能を示すか？
• RQ3 転移学習ベースのモデルは、良性病変とメラノーマを分類する際、一般医および皮膚科医を上回る性能を示すか？
• RQ4 モデルは皮膚病変画像のどの特徴に注目しているか？また、不規則な縁などの臨床的診断的兆候と注目パターンは一致するか？
• RQ5 EfficientNet や MnasNet のような軽量でモバイル最適化されたモデルは、プライバシー準拠のデバイス内推論を可能にしつつ、高い性能を達成できるか？

主な発見

• MobileNet や EfficientNet を含む11種類の深層学習モデルは、すべての評価指標において、転移学習を適用した場合に、適用しない場合よりも顕著に高い性能を示した。
• 転移学習を適用したEfficientNetは、最高のAUROC 0.975 ± 0.002を達成し、皮膚科医（0.91 ± 0.02）および一般医（0.83 ± 0.03）を上回った。
• 同じモデルはAUPRC 0.906 ± 0.006を達成し、希少なメラノーマ症例の検出において、適合率と再現率のバランスが良好であることを示した。
• 統合勾配の可視化により、モデルが主に病変の縁や内部のテクスチャに注目していることが判明し、不規則な縁や不均一な色素沈着といったメラノーマの臨床的所見と一致した。
• MnasNet や EfficientNet は、モバイルデプロイメントを想定して設計されており、最高の性能を達成した。これは、デバイス内でのプライバシー保護型皮膚がんスクリーニング応用に適していることを示唆している。
• どのモデルに対しても、転移学習による悪影響は認められず、すべてのモデルが事前学習の恩恵を受けていた。これは、この医療画像認識タスクにおいて、転移学習が強力な優位性を有することを確認した。