[論文レビュー] DermGAN: Synthetic Generation of Clinical Skin Images with Pathology

Amirata Ghorbani, Vivek Natarajan+2 more|arXiv (Cornell University)|Nov 20, 2019

AI in cancer detection参考文献 43被引用数 44

ひとこと要約

DermGANはPix2Pixを適応させ、病変状態・大きさ・位置・肌色を controllable にした臨床皮膚画像を合成し、GANメトリクスと人間評価で検証。合成画像によるデータ拡張は、分類器の希少悪性皮膚病変の性能を改善する。

ABSTRACT

Despite the recent success in applying supervised deep learning to medical imaging tasks, the problem of obtaining large and diverse expert-annotated datasets required for the development of high performant models remains particularly challenging. In this work, we explore the possibility of using Generative Adverserial Networks (GAN) to synthesize clinical images with skin condition. We propose DermGAN, an adaptation of the popular Pix2Pix architecture, to create synthetic images for a pre-specified skin condition while being able to vary its size, location and the underlying skin color. We demonstrate that the generated images are of high fidelity using objective GAN evaluation metrics. In a Human Turing test, we note that the synthetic images are not only visually similar to real images, but also embody the respective skin condition in dermatologists' eyes. Finally, when using the synthetic images as a data augmentation technique for training a skin condition classifier, we observe that the model performs comparably to the baseline model overall while improving on rare but malignant conditions.

研究の動機と目的

• Medical skin imaging dataにおけるデータ不足と不均衡を動機づける、特に希少な悪性疾患について。
• 病変・大きさ・位置・肌色を指定して臨床皮膚画像を合成する生成フレームワークを提案。
• 客観的なGAN指標と人間評価による生成品質の実証。
• 希少クラスを重視した皮膚状態分類のデータ拡張としての合成画像の有用性を示す。

提案手法

• Semantics mapsで肌色・病変の有無・ROI位置を encoding する Pix2Pix風条件付きGANを医療皮膚画像へ適用。
• 生成器を、チェックボード状アーティファクトを抑制するリサイズ層を持つU-Netと、全畳み込み性の識別器に置換。
• 4つの損失項で学習：画像再構成損失、病変可視ROI再構成損失、min-max GAN損失、特徴量マッチング損失。
• 損失成分のバランスをグリッドサーチでハイパーパラメータ調整。
• ROIを中心に切り出して256x256の訓練画像と、訓練用40000枚、評価用24000枚を作成するようデータセットを前処理。

実験結果

リサーチクエスチョン

• RQ1 条件付きGANが、病理学・肌色・ROIを指定するセマンティックマップから現実的な臨床皮膚画像を生成できるか。
• RQ2 肌色と病変サイズの変化が、生成画像の忠実度と皮膚科的現実性にどのように影響するか。
• RQ3 合成画像は希少な悪性クラスを含む皮膚状態分類の向上に寄与するか。データ拡張としての効果は？
• RQ4 生成画像の現実性と臨床的関連性を最もよく反映する客観的・主観的指標は何か。

主な発見

モデル変種	FID（±1.96 標準偏差）
実データ	83.6 ± 2.5
DermGAN	122.4 ± 3.4
チェッカーボード効果の軽減なし	151.6 ± 3.4
条件特異的再構成損失なし	174.0 ± 4.7
特徴量マッチング損失なし	140.7 ± 2.5

• DermGANは、肌色・病変タイプ・ROIサイズ/位置を条件として高忠実度の合成画像を生成できる。
• セマンティックマップ内の肌色変化は、背景の外観を現実世界の観察と一貫して変化させる。
• セマンティックマップ内の病変サイズを大きくすると、生成される皮膚領域にも対応する視覚的変化が現れる。
• 客観的GAN指標（FID）は、完全なDermGANモデルでの使用時にアブレーションより改善され、ベースラインは劣るFIDを示す。
• 人間のチューリングテストでは、合成画像が実物画像と識別不能であることが多く、皮膚科医は合成画像の臨床内容を正しく認識する。
• 皮膚状態分類のデータ拡張では、20000枚の合成画像を用いると全体精度はベースラインと同等ながら、希少悪性クラス（黒色腫と基底細胞癌）のF1が改善され、 melanocytic nevus でトレードオフが生じた。