[論文レビュー] Segmentation of Skin Lesions and their Attributes Using Multi-Scale Convolutional Neural Networks and Domain Specific Augmentations

Mostafa Jahanifar, Neda Zamani Tajeddin+3 more|arXiv (Cornell University)|Sep 23, 2018

Cutaneous Melanoma Detection and Management参考文献 57被引用数 23

ひとこと要約

本論文は、皮膚病変およびその皮膚画像診断的特徴（例：色素網状構造、顆粒、縞模様）の正確なセグメンテーションを実現するため、転移学習に基づくマルチスケールU-Netアーキテクチャとドメイン固有のデータ拡張を提案する。事前学習済みエンコーダー、ピラミッドプーリング、および実際の皮膚画像診断アーティファクトを模倣するカスタム拡張を活用することで、ISIC 2016、2017、2018チャレンジにおいて最先端の性能を達成し、ISIC2018の属性検出タスクでAUC 0.975を記録して1位を獲得した。

ABSTRACT

Computer-aided diagnosis systems for classification of different type of skin lesions have been an active field of research in recent decades. It has been shown that introducing lesions and their attributes masks into lesion classification pipeline can greatly improve the performance. In this paper, we propose a framework by incorporating transfer learning for segmenting lesions and their attributes based on the convolutional neural networks. The proposed framework is based on the encoder-decoder architecture which utilizes a variety of pre-trained networks in the encoding path and generates the prediction map by combining multi-scale information in decoding path using a pyramid pooling manner. To address the lack of training data and increase the proposed model generalization, an extensive set of novel domain-specific augmentation routines have been applied to simulate the real variations in dermoscopy images. Finally, by performing broad experiments on three different data sets obtained from International Skin Imaging Collaboration archive (ISIC2016, ISIC2017, and ISIC2018 challenges data sets), we show that the proposed method outperforms other state-of-the-art approaches for ISIC2016 and ISIC2017 segmentation task and achieved the first rank on the leader-board of ISIC2018 attribute detection task.

研究の動機と目的

• 病変および属性マスクを分類パイプラインに統合することで、皮膚病変のセグメンテーション精度を向上させること。
• 皮膚画像診断におけるデータ不足およびドメインシフトの問題を、臨床的にインspiredされた新しいデータ拡張技術によって解決すること。
• 転移学習とマルチスケール特徴統合を用いて、頑健で一般化可能なセグメンテーションフレームワークを構築すること。
• 皮膚病変および属性セグメンテーションのベンチマークISICデータセットにおいて、最先端の性能を達成すること。

提案手法

• 特徴抽出のため、事前学習済みバックボーン（例：DenseNet169）を用いたエンコーダデコーダ型U-Netアーキテクチャを採用する。
• デコーダパスにマルチスケール畳み込みブロックとピラミッドプーリングを用い、細かいおよび粗い空間的詳細を両方捉える。
• リアルな皮膚画像診断アーティファクトを模倣する、リアルタイムで実行されるドメイン固有のデータ拡張（例：髪の毛による遮蔽、コントラスト/シャープネス調整、照明勾配歪み）を適用する。
• 過学習を軽減しハイパーパrameterを最適化するために、5分割交差検証を用いてモデルを訓練する。
• 予測の頑健性と一貫性を向上させるために、テスト時拡張とモデルアンサンブルを有効化する。
• 生のモデル出力を二値セグメンテーションマスクに変換するために最適なしきい値処理を適用する。

実験結果

リサーチクエスチョン

• RQ1 病変および属性マスクを統合することで、皮膚病変分類システムの性能が向上するか？
• RQ2 ドメイン固有のデータ拡張技術は、皮膚画像診断用のセグメンテーションの頑健性向上にどの程度有効か？
• RQ3 事前学習モデルとマルチスケール特徴統合を用いた転移学習は、既存手法を上回る性能を発揮できるか？
• RQ4 カスタム拡張は、ネガティブネットワークや縞模様など、まれでコントラストが低い属性の一般化性能をどの程度向上させるか？

主な発見

• 提案手法は、ISIC 2016およびISIC 2017の病変セグメンテーションタスクで最先端の性能を達成した。
• ISIC 2018の属性検出チャレンジで1位を獲得し、多様な属性タイプにわたる優れた一般化性能を示した。
• ドメイン固有の拡張を適用することで、特に困難でまれな構造であるネガティブネットワーク属性のAUCが1.3%向上（0.975に達成）した。
• ターゲットされた拡張により、色素網状構造、顆粒、縞模様などの小さなコントラストが低い属性に対しても高い性能を発揮した。
• テスト時拡張とモデルアンサンブルにより、予測の信頼性と頑健性がさらに向上した。
• フレームワークは1モデルあたり70エポック未満で収束し、訓練からスクラッチで学習する場合と比べて著しく訓練時間を短縮した。