[論文レビュー] Illumination-based Transformations Improve Skin Lesion Segmentation in Dermoscopic Images

Kumar Abhishek, Ghassan Hamarneh+1 more|arXiv (Cornell University)|Mar 23, 2020

Cutaneous Melanoma Detection and Management参考文献 31被引用数 12

ひとこと要約

本論文は、物理学的照度および色彩理論に基づく変換を統合することで、性能を向上させる深層学習ベースの皮膚腫瘍画像における意味的セグメンテーションフレームワークを提案する。具体的には、正規化赤色および値補数色彩帯、照度に依存しない内在的画像、グレースケール変換を用いる。RGBのみのベースラインに対して、ISIC 2017、DermoFit、PH2 データセットでそれぞれ平均Jaccardインデックスが12.02%、4.30%、8.86%向上した。

ABSTRACT

The semantic segmentation of skin lesions is an important and common initial task in the computer aided diagnosis of dermoscopic images. Although deep learning-based approaches have considerably improved the segmentation accuracy, there is still room for improvement by addressing the major challenges, such as variations in lesion shape, size, color and varying levels of contrast. In this work, we propose the first deep semantic segmentation framework for dermoscopic images which incorporates, along with the original RGB images, information extracted using the physics of skin illumination and imaging. In particular, we incorporate information from specific color bands, illumination invariant grayscale images, and shading-attenuated images. We evaluate our method on three datasets: the ISBI ISIC 2017 Skin Lesion Segmentation Challenge dataset, the DermoFit Image Library, and the PH2 dataset and observe improvements of 12.02%, 4.30%, and 8.86% respectively in the mean Jaccard index over a baseline model trained only with RGB images.

研究の動機と目的

• 皮膚画像における照度、色彩、コントラストの変動に起因する病変の外観の一貫性の欠如という課題に対処すること。
• 物理学的照度および色彩理論に基づく知識を統合することで、深層学習ベースの皮膚腫瘍セグメンテーションの性能向上が可能かどうかを調査すること。
• 特定の照度に依存しない画像変換および色彩ベースの変換がセグメンテーション性能に与える寄与度を評価すること。
• 深層学習モデルが、大規模データセットで学習された場合でも、照度に注意を払った特徴の明示的統合によって恩恵を受けることを示すこと。
• 提案手法が、画像品質や取得条件にばらつきのある多様な皮膚画像データセットに一般化できるかどうかを評価すること。

提案手法

• 本手法は、深層意味的セグメンテーションモデルの入力を、元のRGB皮膚画像に加えて、4つの派生画像タイプ（正規化赤色チャネル R′、値補数 V*、内在的グレースケール画像 Intrinsic、照度減衰画像 SA）を連結することで拡張する。
• 正規化赤色チャネル R′ は R′ = R / (R + G + B) として計算され、全輝度に対する赤色強度の強調を図る。
• 値補数 V* は V* = 1 − V として導出され、V は正規化RGBチャネルの最大値である。低照度領域でのコントラスト強化を目的とする。
• 内在的画像は、対数色彩度および最小エントロピー法を用いて生成され、照度に依存しないグレースケール表現が得られる。
• 照度減衰画像は、光密度空間における最小エントロピー投影法を用いて得られ、非均一な照度効果が低減される。
• すべての変換済み画像は、元のRGB画像とチャネル方向に連結され、FCN（完全畳み込みネットワーク）などの深層学習セグメンテーションモデルに供給され、特徴学習の向上が図られる。

実験結果

リサーチクエスチョン

• RQ1 照度に基づく画像変換は、皮膚腫瘍セグメンテーションにおける深層学習モデルの性能向上に寄与するか？
• RQ2 どの特定の照度または色彩ベースの変換がセグメンテーション精度の向上に最も寄与しているか？
• RQ3 標準的なRGB入力と比較して、物理学的画像表現を統合することの、照度およびコントラストの変動に対するロバストネスはいかがなっているか？
• RQ4 深層学習モデルは、特徴を暗黙的に学習するのではなく、明示的に照度に依存しない特徴をエンコードすることで、どの程度恩恵を受けるか？
• RQ5 本手法は、画像品質や取得条件にばらつきのある多様な皮膚画像データセットに一般化可能か？

主な発見

• 提案手法は、RGBのみのベースラインモデルと比較して、ISIC 2017 データセットで平均Jaccardインデックスに12.02%の向上を達成した。
• DermoFit データセットでは、ベースライン比で平均Jaccardインデックスが4.30%向上し、内在的画像が最も寄与度の高い変換であった。
• PH2 データセットでは、平均Jaccardインデックスが8.86%向上し、データセット間での強い一般化性能が示された。
• アブレーションスタディの結果、内在的画像とグレースケール変換（GRAY）が性能向上に最も寄与した。一方、照度減衰画像（SA）は、JPEG圧縮画像における最適でない投影角のため、効果が限定的であった。
• 正規化赤色（R′）および値補数（V*）チャネルは、性能向上にあまり寄与しなかった。これは、これらの変換が単純なため、ネットワークが容易に学習可能であると考えられる。
• SA画像の性能向上不全は、JPEG圧縮によって高周波成分が破棄され、エントロピー最小化が不適切になり、画像全体にわたり最適でない投影角が生じたことが原因とされた。