[論文レビュー] Benchmarking of Lightweight Deep Learning Architectures for Skin Cancer Classification using ISIC 2017 Dataset

Abdurrahim Yılmaz, Mucahit Kalebasi+3 more|arXiv (Cornell University)|Oct 23, 2021

Cutaneous Melanoma Detection and Management被引用数 14

ひとこと要約

本研究では、転移学習とデータ増強を用いて、ISIC 2017皮膚がんデータセット上で軽量ディープラーニングモデル—MobileNet、MobileNetV2、NASNetMobile—のベンチマークを実施した。バッチサイズ16のNASNetMobileモデルが最高のパフォーマンスを示し、82.00%の正確度、81.77%の適合率、F1スコア0.8038を達成した。これは、より小さなバッチサイズが、皮膚がん分類のためのモバイルモデルにおける汎化性能を向上させることを示している。

ABSTRACT

Skin cancer is one of the deadly types of cancer and is common in the world. Recently, there has been a huge jump in the rate of people getting skin cancer. For this reason, the number of studies on skin cancer classification with deep learning are increasing day by day. For the growth of work in this area, the International Skin Imaging Collaboration (ISIC) organization was established and they created an open dataset archive. In this study, images were taken from ISIC 2017 Challenge. The skin cancer images taken were preprocessed and data augmented. Later, these images were trained with transfer learning and fine-tuning approach and deep learning models were created in this way. 3 different mobile deep learning models and 3 different batch size values were determined for each, and a total of 9 models were created. Among these models, the NASNetMobile model with 16 batch size got the best result. The accuracy value of this model is 82.00%, the precision value is 81.77% and the F1 score value is 0.8038. Our method is to benchmark mobile deep learning models which have few parameters and compare the results of the models.

研究の動機と目的

• ISIC 2017データセットを用いた軽量ディープラーニングモデルの皮膚がん分類におけるパフォーマンスを評価すること。
• バッチサイズをハイパーパrameterとして、モデルの汎化性能およびパフォーマンスに与える影響を調査すること。
• モバイルアーキテクチャを用いた転移学習とファインチューニングのアプローチを比較し、皮膚がん検出に応用すること。
• 効率的で高精度な皮膚がん分類に最適なモデルおよびハイパーパrameter設定を特定すること。

提案手法

• ISIC 2017データセットに対して前処理およびデータ増強が施され、色空間変換（HSV）と画像回転を用いてデータセットの多様性を向上させた。
• 転移学習を用いて、ImageNetで事前学習された重みから、3つの軽量モデル（MobileNet、MobileNetV2、NASNetMobile）をファインチューニングした。
• ハイパーパramータ感度を評価するため、3つの異なるバッチサイズ（16、32、64）を用いて9つのモデルを学習した。
• モデル評価には、混同行列を用いて算出された標準指標（正確度、適合率、F1スコア、AUC）が用いられた。
• 学習はKerasライブラリを用い、150エポック、訓練データの20%を検証用に分割して実施した。
• バリデーション性能に基づき、最も優れたモデルが選択され、保留されたテストセットで評価された。

実験結果

リサーチクエスチョン

• RQ1 軽量ディープラーニングモデルは、ISIC 2017データセットにおける皮膚がん分類でどの程度の性能を示すか？
• RQ2 バッチサイズは、皮膚がん分類におけるモバイルディープラーニングモデルの汎化性能およびパフォーマンスにどのような影響を与えるか？
• RQ3 MobileNet、MobileNetV2、NASNetMobileの中では、どの軽量アーキテクチャがISIC 2017データセットで最高の正確度とF1スコアを達成するか？
• RQ4 ファインチューニングを伴う転移学習は、パramータ数を最小限に抑え、推論時間を短縮しつつも高いパフォーマンスを達成できるか？

主な発見

• バッチサイズ16のNASNetMobileモデルが、ISIC 2017テストセットで最高の正確度82.00%を達成した。
• 同モデルは適合率81.77%、F1スコア0.8038を記録し、他のすべての設定を上回った。
• すべてのアーキテクチャにおいて、バッチサイズ16のモデルが、バッチサイズ32または64のモデルと比較して顕著に優れた汎化性能を示した。
• バッチサイズ16のMobileNetV2は、全モデルの中で2番目に高い正確度（81.45%）と、最高のF1スコア（0.8114）を達成した。
• 全モデルの平均正確度は、MobileNetで79.60%、MobileNetV2で80.30%、NASNetMobileで79.70%であり、MobileNetV2の平均パフォーマンスが優れていることを示している。
• AUCスコアは0.8684から0.9050の範囲にあり、NASNetMobile（バッチサイズ16）が0.8832を記録し、優れた識別能力を示した。