[論文レビュー] MelanoGANs: High Resolution Skin Lesion Synthesis with GANs

Christoph Baur, Shadi Albarqouni+1 more|arXiv (Cornell University)|Apr 12, 2018

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 44

ひとこと要約

この論文は、DCGAN、LAPGAN、および新規DDGAN変種を比較して、ISIC 2017データセットが小さい状態から256×256の皮膚病変画像を合成し、合成した高解像度サンプルを用いて皮膚病変分類のクラス不均衡を解消することを示しています。

ABSTRACT

Generative Adversarial Networks (GANs) have been successfully used to synthesize realistically looking images of faces, scenery and even medical images. Unfortunately, they usually require large training datasets, which are often scarce in the medical field, and to the best of our knowledge GANs have been only applied for medical image synthesis at fairly low resolution. However, many state-of-the-art machine learning models operate on high resolution data as such data carries indispensable, valuable information. In this work, we try to generate realistically looking high resolution images of skin lesions with GANs, using only a small training dataset of 2000 samples. The nature of the data allows us to do a direct comparison between the image statistics of the generated samples and the real dataset. We both quantitatively and qualitatively compare state-of-the-art GAN architectures such as DCGAN and LAPGAN against a modification of the latter for the task of image generation at a resolution of 256x256px. Our investigation shows that we can approximate the real data distribution with all of the models, but we notice major differences when visually rating sample realism, diversity and artifacts. In a set of use-case experiments on skin lesion classification, we further show that we can successfully tackle the problem of heavy class imbalance with the help of synthesized high resolution melanoma samples.

研究の動機と目的

• GANを用いた医用画像の小規模データセットでの高解像度皮膚病変合成を動機づける。
• 256×256の合成皮膚病変生成のためにDCGAN、LAPGAN、および提案DDGANアーキテクチャを比較する。
• 合成された高解像度病変が不均衡データにおける分類器の性能に与える影響を評価する。
• 学習されたアップサンプリングと異なる識別戦略がサンプルのリアリズムと多様性に及ぼす影響を評価する。

提案手法

• ノイズから256×256の皮膚病変画像を生成するためにDCGAN、LAPGAN、DDGAN変種を実装する。
• DDGANは単一のノイズ源とマルチレベル識別器による画像識別を用い、エンドツーエンド訓練を可能にする。
• DDGAN変種には、ノンパラメトリックアップサンプリングで学習されたアップサンプリングとデコンボリューションベースのアップサンプリングを含む。
• LAPGANは複数のノイズ源とピラミッドレベルでの残差識別に依存する。
• 評価はヒストグラムベースの分布類似度（JSダイバージェンス、ワッサースタイン距離）と定性的な視覚評価を用いる。

実験結果

リサーチクエスチョン

• RQ1 256×256の高解像度皮膚病変画像は、GANアーキテクチャを跨いで小規模データセットから現実的に合成できるか。
• RQ2 DCGAN、LAPGAN、DDGANは、生成病変の分布類似性、多様性、シャープさ、アーティファクトの観点でどのように比較されるか。
• RQ3 合成高解像度の黒色腫サンプルは、皮膚病変分類の深刻なクラス不均衡を緩和するのに役立つか。
• RQ4 このタスクにおいて、デコンボリューションによる学習アップサンプリングは標準アップサンプリングより有利か。

主な発見

Model	EMD	JS Divergence
DCGAN	0.00821	0.00458
LAPGAN	0.04098	0.01420
DDGAN_upsampling	0.02509	0.01099
DDGAN_deconvolution	0.05410	0.02183

• すべてのモデルは実データ分布を概ね近似するが、視覚的リアリズム、多様性、およびアーティファクトのパターンはモデル間で異なる。
• DCGANは強度分布に最もよく一致するが、チェッカーボード状のアーティファクトと多様性の欠如を示す。
• LAPGANは高いサンプル多様性をもたらすが、高周波のアーティファクトを導入する。
• DDGAN（画像識別付き、アップサンプリングあり）は実データ分布に近いを示し、LAPGANより高周波アーティファクトが少なく、LAPGANより訓練が容易である。
• ユースケースの分類では、LAPGANおよびDDGAN変種の合成黒色腫サンプルがクラス不均衡下で性能を向上させ、時には実データ全体で訓練したモデルを上回る。