[論文レビュー] Multi-class Semantic Segmentation of Skin Lesions via Fully Convolutional Networks

Manu S. Goyal, Moi Hoon Yap+1 more|arXiv (Cornell University)|Nov 28, 2017

Cutaneous Melanoma Detection and ManagementMedicine被引用数 20

ひとこと要約

本稿では、二段階のトランスファー学習とハイブリッド損失関数を用いた、完全畳み込みネットワーク（FCNs）を用いた皮膚 lesion のエンドツーエンドの多クラスセマンティックセグメンテーションフレームワークを提案する。クラスの不均衡を解消するために、ISIC-2017 テストセットにおいて、ネビ（naevi）で 78.5%、メラノーマ（melanoma）で 65.3%、脂漏性角化症（seborrhoeic keratosis）で 55.7% のデイクススコアを達成し、後処理を施した後、メラノーマの診断精度は 84.62% に達した。

ABSTRACT

Melanoma is clinically difficult to distinguish from common benign skin lesions, particularly melanocytic naevus and seborrhoeic keratosis. The dermoscopic appearance of these lesions has huge intra-class variations and high inter-class visual similarities. Most current research is focusing on single-class segmentation irrespective of classes of skin lesions. In this work, we evaluate the performance of deep learning on multi-class segmentation of ISIC-2017 challenge dataset, which consists of 2,750 dermoscopic images. We propose an end-to-end solution using fully convolutional networks (FCNs) for multi-class semantic segmentation to automatically segment the melanoma, seborrhoeic keratosis and naevus. To improve the performance of FCNs, transfer learning and a hybrid loss function are used. We evaluate the performance of the deep learning segmentation methods for multi-class segmentation and lesion diagnosis (with post-processing method) on the testing set of the ISIC-2017 challenge dataset. The results showed that the two-tier level transfer learning FCN-8s achieved the overall best result with \ extit{Dice} score of 78.5% in a naevus category, 65.3% in melanoma, and 55.7% in seborrhoeic keratosis in multi-class segmentation and Accuracy of 84.62% for recognition of melanoma in lesion diagnosis.

研究の動機と目的

• クラス内変動が大きく、クラス間で視覚的に類似した皮膚 lesion の多クラスセマンティックセグメンテーションの課題に対処すること。
• 二段階のトランスファー学習を用いて、メラノーマおよび脂漏性角化症のカテゴリにおけるデータ不足を克服すること。
• 新規のハイブリッド損失関数を用いて、不均衡なデータセットにおけるセグメンテーション性能を向上させること。
• 後処理を用いた深層学習モデルの多クラスセグメンテーションおよび lesion 診断の有効性を評価すること。
• 皮膚科分野における多クラス医療画像セグメンテーションの新しいベースラインを確立すること。

提案手法

• 3種類の皮膚 lesion 型（ネビ、メラノーマ、脂漏性角化症）のピクセル単位分類を目的とした、FCN-AlexNet、FCN-32s、FCN-16s、FCN-8s を含む完全畳み込みネットワーク（FCNs）を用いる。
• 二段階のトランスファー学習を適用：ImageNet での事前学習の後、ISIC-2017 データセットでのファインチューニングにより特徴の学習を強化する。
• 交差エントロピー損失とデイクス損失を組み合わせたハイブリッド損失関数を設計し、セグメンテーションタスクにおけるクラスの不均衡を緩和する。
• すべての皮膚画像を 500×375 ピクセルにリサイズして入力の標準化と計算コストの低減を図る。
• 優先順位ベースの後処理戦略を採用：悪性（メラノーマ）が良性（SK および ネビ）よりも優先され、クラスの優先順位は訓練データセットのサイズに基づく。
• デイクススコア、MCC、感度、正答率などの指標を用いて、ISIC-2017 テストセット上でモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 視覚的に類似したクラス間で、完全畳み込みネットワーク（FCNs）が、高い視覚的類似性を示す皮膚 lesion の多クラスセマンティックセグメンテーションを効果的に行えるか？
• RQ2 二段階のトランスファー学習は、限られた医療画像データセットにおけるセグメンテーション性能をどのように向上させるか？
• RQ3 ハイブリッド損失関数は、皮膚 lesion セグメンテーションにおけるクラスの不均衡に起因する性能低下をどの程度緩和できるか？
• RQ4 特定のクラスにおいてセグメンテーション性能が不十分であっても、後処理戦略が診断精度を顕著に向上させられるか？
• RQ5 多クラス皮膚 lesion 分析において、セグメンテーション精度と診断精度の間にはどの程度のギャップが生じるか？

主な発見

• 二段階のトランスファー学習を適用した FCN-8s モデルが、ISIC-2017 テストセットで最も高い全体的な性能を示し、ネビで 78.5%、メラノーマで 65.3%、脂漏性角化症で 55.7% のデイクススコアを達成した。
• FCN-AlexNet はネビクラスで最高のデイクススコア（0.819）と MCC（0.814）を記録し、最も頻度の高いクラスにおいて優れた性能を示した。
• 低いセグメンテーションスコアであっても、後処理手法によりテストセットでメラノーマの診断精度が 84.62% に達し、診断レベルの最適化の価値を示した。
• 脂漏性角化症の診断精度は 74.44% に達し、データ不足がモデルの一般化性能に与える影響を浮き彫りにした。
• 全クラスの総合診断精度は 80.83% に達し、実世界の診断状況においても後処理戦略の堅牢性を示した。
• ネビ（1,843 枚）に比べ、メラノーマ（521 枚）および脂漏性角化症（386 枚）のトレーニングサンプルが限られているため、セグメンテーション性能が著しく低かった。