[論文レビュー] An Encoder-Decoder CNN for Hair Removal in Dermoscopic Images

Lidia Talavera-Martínez, Pedro Bibiloni+1 more|arXiv (Cornell University)|Oct 10, 2020

Cutaneous Melanoma Detection and Management参考文献 28被引用数 5

ひとこと要約

本論文では、L1、SSIM、TV、および前景/背景L1項を組み合わせた複合損失関数を用いてテクスチャ回復を向上させる、毛髪除去のための新しいエンコーダ・デコーダ型畳み込みニューラルネットワーク（CNN）を提案する。この手法は、公的皮膚画像データベースから抽出した合成データセット上で、定量的および定性的な評価において6つの従来のコンピュータビジョン手法を上回り、統計的に優れた結果を達成した。

ABSTRACT

The process of removing occluding hair has a relevant role in the early and accurate diagnosis of skin cancer. It consists of detecting hairs and restore the texture below them, which is sporadically occluded. In this work, we present a model based on convolutional neural networks for hair removal in dermoscopic images. During the network's training, we use a combined loss function to improve the restoration ability of the proposed model. In order to train the CNN and to quantitatively validate their performance, we simulate the presence of skin hair in hairless images extracted from publicly known datasets such as the PH2, dermquest, dermis, EDRA2002, and the ISIC Data Archive. As far as we know, there is no other hair removal method based on deep learning. Thus, we compare our results with six state-of-the-art algorithms based on traditional computer vision techniques by means of similarity measures that compare the reference hairless image and the one with hair simulated. Finally, a statistical test is used to compare the methods. Both qualitative and quantitative results demonstrate the effectiveness of our network.

研究の動機と目的

• 従来のコンピュータビジョン手法の限界を克服する、深層学習に基づく皮膚画像からの毛髪除去手法の開発。
• 病変領域のテクスチャと色の回復を向上させるために、カスタム損失関数の設計。
• 実際の毛のない皮膚画像に模擬毛を付加することで、厳密な定量的評価が可能な合成データセットの作成。
• 提案されたCNNモデルを、6つの最先端の従来型毛髪除去アルゴリズムと客観的に比較すること。
• 合成データ以外の実際の皮膚画像に対しても、モデルの有効性を検証すること。

提案手法

• 空間的詳細の再構成中に保持するため、スキップ接続を備えたエンコーダ・デコーダ型CNNアーキテクチャを採用。
• L1、SSIM、全変動（TV）、および前景/背景固有のL1項を組み合わせた複合損失関数を用いてネットワークを訓練。
• PH2、dermquest、dermis、EDRA2002、ISICデータセットからの実際の毛のない皮膚画像を用い、毛のシミュレーションを実施してトレーニングおよびテストデータを生成。
• 損失関数には、病変領域のテクスチャを保持するための前景L1項と、非病変領域でのぼんやりとした出力を低減するための背景L1項を含む。
• スキップ接続やプーリング層などのアーキテクチャ的選択の寄与度を評価するためのアブレーションスタディを実施。
• 9つの類似度指標を用いた統計的仮説検定により、複数の手法間の性能を比較。

実験結果

リサーチクエスチョン

• RQ1 深層CNNベースのアプローチは、皮膚画像からの毛髪除去において、従来のコンピュータビジョン手法を上回ることができるか？
• RQ2 複合損失関数の導入が、毛髪除去領域におけるテクスチャおよび色の回復品質にどのように影響を与えるか？
• RQ3 スキップ接続やプーリング層などのアーキテクチャ的要素が、再構成性能に与える影響は何か？
• RQ4 アブレーションスタディを通じて、個々の損失項（例：L1、SSIM、TV）が最終出力品質にどのように寄与しているか？
• RQ5 自然に生じる毛髪を有する実際の皮膚画像に対しても、モデルは十分に一般化できるか？

主な発見

• 提案されたCNNモデルは、6つの最先端の従来手法と比較して、9つの類似度指標のうち8つで統計的に優れた性能を達成した。
• アブレーションスタディの結果、背景L1項を削除するとぼやけた出力が得られ、非病変領域でのシャープネスの維持にその重要性が示された。
• SSIMおよびTV損失項の導入により、再構成領域における構造的一致性が向上し、ノイズが低減された。
• スキップ接続は、スイッチオフバージョンと比較して明確な視覚的および定量的改善を示し、微細なディテールの保持に不可欠であることが判明した。
• 自然な毛髪を有する実際の皮膚画像に対しても、モデルは良好に一般化し、視覚的に妥当かつ診断的に有用な結果を生成した。
• すべての損失項を含む損失関数が、テストセットで最高のPSNR（35.538 dB）およびSSIM（0.974）を達成し、すべてのアブレーションバージョンを上回った。