[論文レビュー] Data Augmentation for Skin Lesion using Self-Attention based Progressive Generative Adversarial Network

Ibrahim Saad Ali, Mamdouh Mohamed+1 more|arXiv (Cornell University)|Oct 25, 2019

Cutaneous Melanoma Detection and Management参考文献 31被引用数 8

ひとこと要約

本稿では、皮膚がん分類におけるデータの不均衡を解消するために、高解像度で臨床的に意味のある合成皮膚腫瘍画像を生成するための自己注意強化型プログレッシブ GAN（APGAN+TTUR）を提案する。自己注意を用いて長距離依存関係をモデル化し、TTURを用いて訓練安定性を向上させることで、実データのみを用いた場合に比べ2.8%、標準的増強法に比べ1.4%の分類精度向上を達成した。

ABSTRACT

Deep Neural Networks (DNNs) show a significant impact on medical imaging. One significant problem with adopting DNNs for skin cancer classification is that the class frequencies in the existing datasets are imbalanced. This problem hinders the training of robust and well-generalizing models. Data Augmentation addresses this by using existing data more effectively. However, standard data augmentation implementations are manually designed and produce only limited reasonably alternative data. Instead, Generative Adversarial Networks (GANs) is utilized to generate a much broader set of augmentations. This paper proposes a novel enhancement for the progressive generative adversarial networks (PGAN) using self-attention mechanism. Self-attention mechanism is used to directly model the long-range dependencies in the feature maps. Accordingly, self-attention complements PGAN to generate fine-grained samples that comprise clinically-meaningful information. Moreover, the stabilization technique was applied to the enhanced generative model. To train the generative models, ISIC 2018 skin lesion challenge dataset was used to synthesize highly realistic skin lesion samples for boosting further the classification result. We achieve an accuracy of 70.1% which is 2.8% better than the non-augmented one of 67.3%.

研究の動機と目的

• 皮膚腫瘍データセットにおけるクラス不均衡問題に対処し、堅牢なディープラーニングモデルの学習を可能にする。
• 手動によるデータ増強の限界を克服し、定められた変換の狭い範囲にとどまらない手法を提供する。
• 効果的なデータ増強に適した、質と多様性に優れた合成皮膚腫瘍画像の生成を向上させる。
• 高度な訓練技術を用いて、高解像度（256×256）における生成モデルの安定性と現実性を向上させる。
• GANによって生成されたサンプルが、下流の分類性能を向上させる臨床的に意味のある特徴を含んでいることを実証する。

提案手法

• 特徴マップ内の長距離依存関係をモデル化するため、プログレッシブ GAN（PGAN）に自己注意機構を統合し、微細なディテールの生成を改善する。
• 判別器（0.004）、生成器（0.001）の不均衡な学習率を用いたTwo Time Update Rule（TTUR）を適用し、高解像度での訓練安定性を向上させる。
• ISIC 2018 データセットを用いて、1クラスあたり1,000枚の合成画像を生成するAPGAN+TTURモデルを学習する。
• 最高性能を示したGANモデル（APGAN+TTUR）を用い、1クラスあたり1,000枚の合成画像を標準増強と組み合わせて訓練データセットに追加する。
• 増強済みデータでResNet-18を微調整し、生成器の品質と一般化性能を評価するためにGAN-trainおよびGAN-test指標を用いて性能を評価する。
• 501枚の検証セットを用いて、実データのみ、標準的増強、GAN増強の各条件での分類精度を比較評価する。

Figure 1 : Real Images and APGAN+TTUR samples of ISIC 2018 dataset. Nevus(NV), Dermatofibroma(DF), Melanoma(MEL), Pigmented Bowen’s(AKIEC), Pigmented Benign keratoses(BKL), Basal cell carcinoma(BCC), and Vascular(VASC).

実験結果

リサーチクエスチョン

• RQ1 自己注意機構は、プログレッシブ GAN フレームワークにおいて、生成画像の知覚的品質および臨床的関連性を向上させることができるか？
• RQ2 TTURの統合は、皮膚腫瘍生成における高解像度 GAN 訓練の安定性を顕著に向上させ、アーティファクトを低減するか？
• RQ3 実データや標準的増強データに比べ、GAN によって生成された合成サンプルは、分類精度をどの程度向上させるか？
• RQ4 合成サンプルに、モデルの一般化性能向上に寄与する臨床的に意味のある特徴が含まれているか？
• RQ5 画像の忠実度および下流の分類精度という観点から、APGAN+TTUR はベースライン GAN（PGAN、APGAN）に比べて優れているか？

主な発見

• APGAN+TTUR モデルは、ISIC 2018 データセットで検証精度70.1%を達成し、実データのみを用いたベースライン（67.3%）に比べ2.8%の向上を示した。
• 標準的データ増強（68.7%）に比べもAPGAN+TTURが優れており、GAN によって生成されたサンプルがより高い情報量を有していることが示された。
• APGAN+TTUR の GAN-train スコア69.5 および GAN-test スコア60.0 は、優れた生成器性能と良好な一般化を示している。
• メラノーマサンプルに明るいスポットのようなアーティファクトが観察されたが、これらは実際の訓練データにも類似したパターンとして存在しており、臨床的変異を反映している可能性がある。
• APGAN+TTUR は、PGAN（67.1%）および APGAN（67.7%）を上回る分類精度を達成しており、自己注意と TTUR の有効性が確認された。
• 結果から、GAN によって生成されたサンプルが臨床的に意味のある特徴を含んでおり、下流の分類性能に測定可能な精度向上をもたらしていることが裏付けられた。

Figure 2 : An overview of the APGAN+TTUR employed for skin lesion synthesis.