[論文レビュー] Skin lesion segmentation and classification using deep learning and handcrafted features

Redha Ali, Hussin K. Ragb|arXiv (Cornell University)|Dec 20, 2021

Cutaneous Melanoma Detection and Management被引用数 6

ひとこと要約

本論文は、事前学習済みの畳み込みニューラルネットワーク（ResNet-50 および DenseNet-201）の全結合層に、手作業で作成した特徴量を学習中に組み込むことで、皮膚腫瘍のセグメンテーションおよび多クラス分類を向上させる、革新的なハイブリッド深層学習フレームワークを提案する。この手法は、ISIC 2018 データセットで 92.3% のバランス精度を達成し、ベースラインモデルを 6.8% 上回り、特徴量の組み込みが識別性能および分類性能を向上させることを示している。

ABSTRACT

Accurate diagnostics of a skin lesion is a critical task in classification dermoscopic images. In this research, we form a new type of image features, called hybrid features, which has stronger discrimination ability than single method features. This study involves a new technique where we inject the handcrafted features or feature transfer into the fully connected layer of Convolutional Neural Network (CNN) model during the training process. Based on our literature review until now, no study has examined or investigated the impact on classification performance by injecting the handcrafted features into the CNN model during the training process. In addition, we also investigated the impact of segmentation mask and its effect on the overall classification performance. Our model achieves an 92.3% balanced multiclass accuracy, which is 6.8% better than the typical single method classifier architecture for deep learning.

研究の動機と目的

• 皮膚腫瘍の診断における皮膚画像の分類精度を向上させるために、深層学習と手作業で作成した特徴量の新規融合を用いること。
• 訓練中に、これまでに未だ調査されていなかった、畳み込みニューラルネットワークの全結合層に手作業で作成した特徴量を組み込むという、新規な手法の影響を調査すること。
• 皮膚がん診断パイプラインにおける最終分類性能に与えるセグメンテーションマスクの影響を評価すること。
• 単一手法の特徴量アプローチを凌駕する、計算効率が良く、識別性能を向上させるハイブリッドモデルの開発。
• アンサンブル学習を用いたハイブリッドモデルの有効性を、多クラス皮膚腫瘍分類の文脈で実証すること。

提案手法

• 著者らは「ハイブリッド特徴量」として、深層学習特徴量と手作業で作成した特徴量（色、テクスチャ、形状など）の融合を導入し、特徴量の識別性能を向上させる。
• 訓練中にバックプロパゲーションの過程で、事前学習済みの畳み込みニューラルネットワーク（ResNet-50 および DenseNet-201）の全結合層に、手作業で作成した特徴量を直接組み込む、新規な訓練戦略を提案する。
• データ前処理には、照明のばらつきを補正するための「グレーのグレーディング法」（p=6）を用いる。
• モデルは ImageNet で事前学習済みのバックボーンを用いた転移学習を採用し、ISIC 2018 の皮膚画像データセットを用いてセグメンテーションおよび分類の微調整を行う。
• 性能を向上させるために、2つのハイブリッドモデル（ResNet-50 および DenseNet-201）のアンサンブルを構築し、予測結果の投票または平均化を活用する。
• 性能評価には、70/30 のトレイン・テスト分割を用い、バランス精度（BACC）、特異度（SPEC）、感度（SENS）、正解率、AUC を用いる。

実験結果

リサーチクエスチョン

• RQ1 訓練中に畳み込みニューラルネットワークの全結合層に手作業で作成した特徴量を組み込むことで、皮膚腫瘍分類精度が向上するか？
• RQ2 本手法で提示されたハイブリッド特徴量表現は、単一手法の特徴量（深層学習または手作業で作成した特徴量）と比較して、識別能力に優れているか？
• RQ3 皮膚がん診断パイプラインにおいて、セグメンテーションマスクが最終分類性能に与える影響は何か？
• RQ4 ハイブリッドモデルのアンサンブル学習は、個々のハイブリッドモデルを上回る分類性能を実現できるか？
• RQ5 本手法は、ISIC 2018 の皮膚腫瘍分類ベンチマークにおいて、標準的な転移学習ベースラインと比較して優れているか？

主な発見

• ハイブリッドモデルのアンサンブルは、バランス精度 92.3% を達成し、最良のベースラインモデルを 6.8% 上回った。
• ハイブリッド ResNet-50 モデルはバランス精度 88.2% を達成し、標準の ResNet-50（85.2%）を 3% 上回った。
• ハイブリッド DenseNet-201 モデルはバランス精度 89.4% を達成し、標準の DenseNet-201（85.5%）を 3.9% 上回った。
• アンサンブルモデルは感度 87.5%、特異度 97.1% を記録し、全クラスにわたり優れた性能を示した。
• アンサンブルモデルの AUC スコアは 0.977 に達し、皮膚腫瘍のタイプ間の分離性が非常に高いことを示した。
• 本研究は、訓練中に全結合層に手作業で作成した特徴量を組み込むことで、分類性能が顕著に向上することを確認した。これにより、提案されたハイブリッド訓練戦略の有効性が裏付けられた。