[論文レビュー] Skin Cancer Detection and Tracking using Data Synthesis and Deep Learning

Yunzhu Li, Andre Esteva+4 more|arXiv (Cornell University)|Dec 4, 2016

Cutaneous Melanoma Detection and Management参考文献 7被引用数 28

ひとこと要約

本稿では、データ不足を克服するためのドメイン固有のデータ合成を用いて、皮膚がんの検出と追跡を実現する深層学習フレームワークを提案する。ポissonブレンドを用いた身体部位ごとの現実的な皮膚病変画像の合成と、広範な増幅処理により、画素単位の病変分類と時間的対応を実行する完全畳み込みネットワーク（FCN）と追跡ネットワークを訓練した。実臨床データにおいて、最小限のラベル付き例でのベースラインを上回る優れた性能を達成した。

ABSTRACT

Dense object detection and temporal tracking are needed across applications domains ranging from people-tracking to analysis of satellite imagery over time. The detection and tracking of malignant skin cancers and benign moles poses a particularly challenging problem due to the general uniformity of large skin patches, the fact that skin lesions vary little in their appearance, and the relatively small amount of data available. Here we introduce a novel data synthesis technique that merges images of individual skin lesions with full-body images and heavily augments them to generate significant amounts of data. We build a convolutional neural network (CNN) based system, trained on this synthetic data, and demonstrate superior performance to traditional detection and tracking techniques. Additionally, we compare our system to humans trained with simple criteria. Our system is intended for potential clinical use to augment the capabilities of healthcare providers. While domain-specific, we believe the methods invoked in this work will be useful in applying CNNs across domains that suffer from limited data availability.

研究の動機と目的

• 皮膚科分野におけるラベル付き皮膚がんデータセットの限界を解決するため、合成トレーニングデータを生成すること。
• 視覚的に複雑な臨床画像において、悪性および良性皮膚病変の正確な検出を可能にすること。
• 連続する画像間での病変の時間的変化を特定するための堅牢な追跡システムを開発すること。
• 生検で確認済みの1,300枚の病変画像と400枚の身体画像のみを用いて、最先端の検出および追跡性能を実証すること。
• 他の少量データの医療画像分野に適用可能な移植可能なフレームワークを構築すること。

提案手法

• ポアソン画像編集を用いて、1,300枚の生検で確認済みの病変画像を400枚のセグメンテーション済み身体画像に合成し、現実的な外観を再現するトレーニングデータを生成する。
• 回転、スケーリング、色のジャマ（color jittering）などの広範なデータ増幅処理を、病変画像および身体画像の両方に適用し、多様性と耐性を向上させる。
• スキップ接続を備えた完全畳み込みネットワーク（FCN）を訓練し、画素単位の分類（背景、良性病変、悪性病変）を3クラスで実行する。
• FCNのヒートマップ出力を非最大抑制およびしきい値処理により後処理し、解釈可能な病変候補を生成する。
• 検出画像に幾何的および光度的変換を適用することで、ポーズや病変の外観の時間的変化を模擬した画像ペアを構築する。
• 共有エンコーダーと残差接続を備えたシアン型アーキテクチャを用い、画像ペア間の画素単位の変位場を予測する追跡ネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 合成データ生成が、少量データ環境下での皮膚病変検出性能を顕著に向上させることができるか？
• RQ2 合成データで訓練された完全畳み込みネットワークが、実臨床画像において人間が解釈可能な病変検出を達成できるか？
• RQ3 深層学習ベースの追跡システムが、ポーズや外観が変化する時間的隣接画像間で、画素単位の対応関係を正確に予測できるか？
• RQ4 スライディングウィンドウ検出法やSIFTFlowといった従来手法と比較して、本手法の検出および追跡精度はどのように異なるか？
• RQ5 合成データで訓練したモデルが、現実世界の臨床的皮膚画像認識シナリオにどの程度一般化できるか？

主な発見

• 提案手法の検出法は、108枚の臨床画像から成るテストセットにおいて、スライディングウィンドウベースラインおよび非専門家の人間読者よりも高い受信器操作特性曲線下積分（AUC）を達成した。
• 後処理により検出ネットワークは人間が解釈可能な結果を生成し、視覚的に複雑な皮膚領域における懸念すべき病変を効果的に強調した。
• PCK指標において、SIFTFlowおよびDSPベースラインを上回り、多様な画像条件下で正しいキーポイント対応関係を予測する高い正確性を示した。
• ポーズ、照明、背景、時間経過に伴う病変形状・サイズの変化に対して、追跡システムは耐性を示した。
• 合成データの使用により、1,300枚のラベル付き病変画像と400枚の身体画像のみで、高性能な検出および追跡システムを訓練でき、少量データ環境下での有効性が証明された。
• 検出ネットワークの重みが、追跡ネットワークの初期化に成功し、トレーニング効率と性能が向上した。