[論文レビュー] Incorporating the Knowledge of Dermatologists to Convolutional Neural Networks for the Diagnosis of Skin Lesions

Iván González-Díaz|arXiv (Cornell University)|Mar 6, 2017

Cutaneous Melanoma Detection and Management参考文献 4被引用数 68

ひとこと要約

本論文は、皮膚科医の知識を病変セグメンテーション、構造認識を伴う弱教師付きセグメンテーション、そして特化したプーリング/モジュレーションブロックを組み込んだ CNN ベースのシステムを提示し、表皮嚢腫? nevus、melanoma、seborrheic keratosis を皮膚鏡画像で診断する。データを拡張し、構造情報を診断パイプラインへ統合する新規ブロックを用いる。

ABSTRACT

This report describes our submission to the ISIC 2017 Challenge in Skin Lesion Analysis Towards Melanoma Detection. We have participated in the Part 3: Lesion Classification with a system for automatic diagnosis of nevus, melanoma and seborrheic keratosis. Our approach aims to incorporate the expert knowledge of dermatologists into the well known framework of Convolutional Neural Networks (CNN), which have shown impressive performance in many visual recognition tasks. In particular, we have designed several networks providing lesion area identification, lesion segmentation into structural patterns and final diagnosis of clinical cases. Furthermore, novel blocks for CNNs have been designed to integrate this information with the diagnosis processing pipeline.

研究の動機と目的

• 皮膚病変の CNN ベース診断に専門の皮膚科医知識を組み込む。
• 病変セグメンテーションと構造の局在化を活用して最終診断を導く。
• 病変のばらつきに対応するデータ拡張と座標認識処理を開発する。
• 構造情報を診断へ融合する専門的なネットワークブロックを作成する。

提案手法

• Lesion Segmentation Network (FCN) を用いて dermoscopic images から二値病変マスクを得る。
• ケースあたり 24 の回転/クロップ視を生成するデータ拡張モジュールを適用し、各視について Normalized Polar Coordinates (RPC) を計算する。
• 皮膚科医が関連する8つのパターンを弱ラベル最適化で弱くラベル付けする Structure Segmentation Network を導入する。
• ResNet-50 をベースとする診断ネットワークを、三つの処理アーム（i) 標準的な平均プーリング、(ii) Normalized Polar Pooling、(iii) 非対称性ベースのアーム）を持つように改変し、Sum ブロックで結合する。
• 構造マップをCNN特徴と融合させ、病変領域で極座標ベースのプーリングを行う Modulation、Polar Pooling、Asymmetry ブロックを開発する。
• 視点間で最終診断を分解/ファクタ化し、患者の性別・年齢・病変面積などの外部特徴をオプションとして含める。

実験結果

リサーチクエスチョン

• RQ1 皮膚科医由来の病変構造は CNN ベースの皮膚病変分類を改善できるか？
• RQ2 弱教師付き構造セグメンテーションは最終診断に有用な指針を提供するか？
• RQ3 偏極/回転不変性と非対称性指標は皮膚鏡画像の診断性能を向上させるか？
• RQ4 診断ネットワークへ構造マップを融合することが分類結果に与える影響は何か？
• RQ5 複数視点の集約は単一視点予測より頑健性を向上させるか？

主な発見

• 本システムは、セグメーションと構造情報を診断へ統合する多分岐アーキテクチャを実現する。
• データ拡張はケースごとに 24 の視を生成し、回転に頑健な特徴で訓練とテストを充実させる。
• 8つの構造マップが視ごとに弱ラベルと制約付き最適化で学習され、モジュレーションブロックに統合される。
• 診断ネットワークは標準、polar、非対称性の3つのプーリング/処理アームを用いて最終予測を導出する。
• 視点間の独立性に基づく視点別出力の最終積み上げからケースレベルの診断を得る。