[論文レビュー] A Mutual Bootstrapping Model for Automated Skin Lesion Segmentation and Classification

Yutong Xie, Jianpeng Zhang+2 more|arXiv (Cornell University)|Mar 8, 2019

Cutaneous Melanoma Detection and Management参考文献 59被引用数 14

ひとこと要約

本稿では、相互ブートストラップ深層学習モデル（MB-DCNN）を提案する。このモデルは、粗いセグメンテーションマスクが分類における病変局在をガイドし、分類における局在マップがセグメンテーションの正確性を向上させる双方向の知識移行を可能にすることで、皮膚病変のセグメンテーションと分類を統合的に実行する。この手法は最先端の性能を達成し、ISIC-2017ではJaccard指数80.4%、PH2では89.4%を記録し、分類の平均AUCは93.8%と97.7%を達成した。

ABSTRACT

Automated skin lesion segmentation and classification are two most essential and related tasks in the computer-aided diagnosis of skin cancer. Despite their prevalence, deep learning models are usually designed for only one task, ignoring the potential benefits in jointly performing both tasks. In this paper, we propose the mutual bootstrapping deep convolutional neural networks (MB-DCNN) model for simultaneous skin lesion segmentation and classification. This model consists of a coarse segmentation network (coarse-SN), a mask-guided classification network (mask-CN), and an enhanced segmentation network (enhanced-SN). On one hand, the coarse-SN generates coarse lesion masks that provide a prior bootstrapping for mask-CN to help it locate and classify skin lesions accurately. On the other hand, the lesion localization maps produced by mask-CN are then fed into enhanced-SN, aiming to transfer the localization information learned by mask-CN to enhanced-SN for accurate lesion segmentation. In this way, both segmentation and classification networks mutually transfer knowledge between each other and facilitate each other in a bootstrapping way. Meanwhile, we also design a novel rank loss and jointly use it with the Dice loss in segmentation networks to address the issues caused by class imbalance and hard-easy pixel imbalance. We evaluate the proposed MB-DCNN model on the ISIC-2017 and PH2 datasets, and achieve a Jaccard index of 80.4% and 89.4% in skin lesion segmentation and an average AUC of 93.8% and 97.7% in skin lesion classification, which are superior to the performance of representative state-of-the-art skin lesion segmentation and classification methods. Our results suggest that it is possible to boost the performance of skin lesion segmentation and classification simultaneously via training a unified model to perform both tasks in a mutual bootstrapping way.

研究の動機と目的

• 皮膚病変のセグメンテーションと分類を独立したタスクとして扱う従来の深層学習モデルの限界を解消すること。
• セグメンテーションと分類の相補的性を活用し、両タスクの性能を同時に向上させること。
• 弱い教師付き知識移行を用いてピクセルレベルのアノテーションに依存するのを減らすために、画像レベルのラベルを活用すること。
• セグメンテーションと分類ネットワーク間での双方向知識移行を可能にする新しいトレーニング戦略の開発。
• 混合損失関数を用いて、病変セグメンテーションにおけるクラス不均衡およびハード・イージー画素の不均衡に対する耐性を高めること。

提案手法

• 粗い-SN（初期病変マスク予測用）、mask-CN（マスクガイドドアテンションを備えた分類用）、および強化-SN（洗練されたセグメンテーション用）の3ネットワークアーキテクチャを提案。
• 粗い-SNの予測結果を、mask-CNがより正確な病変局在と分類を学習するための事前知識として活用。
• mask-CNから得た局在マップを強化-SNに再帰的にフィードバックし、相互ブートストラップを実現。
• クラス不均衡およびハード・イージー画素の不均衡を解消するため、新しいランク損失をDice損失と組み合わせて導入。
• ISIC-2017およびPH2データセットからの画像レベル（分類）およびピクセルレベル（セグメンテーション）のアノテーションを用いて、エンドツーエンドでモデルを訓練。
• セグメンテーションの正確性と一般化性能のバランスを最適化するため、ハイブリッド損失関数を用いて共同トレーニングプロセスを最適化。

実験結果

リサーチクエスチョン

• RQ1 分類とセグメンテーションの共同学習は、単一タスクモデルと比較して両タスクの性能を向上させることができるか？
• RQ2 セグメンテーションと分類ネットワーク間での双方向知識移行は、モデルの正確性を向上させるのにどの程度有効か？
• RQ3 弱い教師付き学習と組み合わせた画像レベルのアノテーションが、セグメンテーション性能をどの程度向上させられるか？
• RQ4 提案されたハイブリッド損失（Dice損失 + ランク損失）は、病変セグメンテーションにおけるクラス不均衡およびハード・イージー画素の不均衡を効果的に緩和できるか？
• RQ5 限定的なアノテーションデータ下でも、相互ブートストラップメカニズムはどの程度の性能を示すか？

主な発見

• MB-DCNNモデルは、ISIC-2017データセットで皮膚病変セグメンテーションにおいてJaccard指数80.4%、PH2データセットでは89.4%を達成し、最先端手法を上回った。
• 分類タスクにおいて、ISIC-2017では平均AUCが93.8%、PH2では97.7%を達成し、最先端モデルを上回った。
• 相互ブートストラップ機構により、特に訓練データが限られた状況でも顕著な性能向上が得られた。
• Dice損失とランク損失の統合により、セグメンテーションにおけるクラス不均衡およびハード・イージー画素の不均衡の影響が効果的に低減された。
• モデルは高い一般化性能を示し、より新しく多様な皮膚画像を含むISICアーカイブデータセットでも高い性能を維持した。
• オンライン推論は1枚あたり1秒未塔の高速性を達成し、臨床現場への導入可能性が示された。