[論文レビュー] SkrGAN: Sketching-rendering Unconditional Generative Adversarial Networks for Medical Image Synthesis

Tianyang Zhang, Huazhu Fu+8 more|arXiv (Cornell University)|Aug 6, 2019

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 4

ひとこと要約

SkrGAN は、構造的忠実度を向上させるためにスケッチ事前分布を用いる、医療画像合成の2段階的手法である非条件的 GAN である。赤内膜、X線、CT、MRI 画像の合成において最先端の性能を達成し、データ拡張に用いることで、画像分類の精度が顕著に向上する。

ABSTRACT

Generative Adversarial Networks (GANs) have the capability of synthesizing images, which have been successfully applied to medical image synthesis tasks. However, most of existing methods merely consider the global contextual information and ignore the fine foreground structures, e.g., vessel, skeleton, which may contain diagnostic indicators for medical image analysis. Inspired by human painting procedure, which is composed of stroking and color rendering steps, we propose a Sketching-rendering Unconditional Generative Adversarial Network (SkrGAN) to introduce a sketch prior constraint to guide the medical image generation. In our SkrGAN, a sketch guidance module is utilized to generate a high quality structural sketch from random noise, then a color render mapping is used to embed the sketch-based representations and resemble the background appearances. Experimental results show that the proposed SkrGAN achieves the state-of-the-art results in synthesizing images for various image modalities, including retinal color fundus, X-Ray, Computed Tomography (CT) and Magnetic Resonance Imaging (MRI). In addition, we also show that the performances of medical image segmentation method have been improved by using our synthesized images as data augmentation.

研究の動機と目的

• 従来の GAN が、血管や骨などの微細な解剖学的構造を医療画像合成で保持する点に限界を示しているのを是正すること。
• 人間の描画プロセスを模倣するスケッチ事前分布を導入し、構造的スケッチから始めて色のレンダリングを行うことで、生成品質を向上させること。
• 深度マップなどのペアデータや条件付き教師信号を必要としない、非条件的 GAN を開発すること。
• SkrGAN が生成した画像が、下流の医療画像分類タスクのデータ拡張として効果的に機能するかどうかを評価すること。

提案手法

• 本手法は2段階アーキテクチャを採用する。まず、スケッチディスクライマー $D_S$ に従って、ランダムノイズから構造的スケッチを生成するスケッチガイドモジュール $G_S$ を用いる。
• 次に、ピクセル単位のディスクライマー $D_P$ を用いて、スケッチ表現と背景の外観モデリングを融合し、最終的なカラー画像を生成するカラーレンダリングマッピングモジュール $G_P$ が機能する。
• スケッチガイドモジュールは、敵対的損失と知覚的監視を用いて、血管や骨などの微細な解剖学的構造を保持するように訓練される。
• カラーレンダリングモジュールは、スケッチを条件として、リアルなテクスチャと強度を生成するように学習され、忠実度を保証するため敵対的損失とサイクル整合性損失が用いられる。
• スケッチ生成段階の監視を高めるために、実際の画像からスケッチドラフトデータセットを構築する。
• 全体の訓練は、GAN損失、知覚的損失、および構造的類似性（MS-SSIM）損失を統合して、エンドツーエンドで最適化される。

実験結果

リサーチクエスチョン

• RQ1 スケッチ誘導の2段階 GAN アーキテクチャは、特に血管や骨のような微細な解剖学的構造を保持する点で、生成画像の忠実度を向上させることができるか？
• RQ2 SkrGAN は、DCCGAN や WGAN、PGGAN などの最先端の非条件的 GAN と比較して、多様な医療画像モodalities の合成においてどのように性能を発揮するか？
• RQ3 SkrGAN が生成した画像は、データ拡張としての役割を果たすことで、下流の医療画像分類タスクの性能をどの程度向上させられるか？
• RQ4 スケッチ事前分布の使用は、直接ノイズから画像を生成する GAN と比較して、より安定的かつ制御可能な画像生成を実現するか？

主な発見

• 網膜の眼底画像において、SkrGAN は FID 27.59 を達成し、DCGAN（64.83）、ACGAN（96.72）、WGAN（240.7）、PGGAN（110.8）を上回った。
• 胸部X線画像では、SkrGAN が FID 114.6 を達成し、DCGAN（260.3）、ACGAN（235.2）、WGAN（300.7）、PGGAN（124.2）を著しく下回った。
• 肺CTでは、SkrGAN が FID 79.97 を達成し、DCGAN（285.0）、ACGAN（222.5）、WGAN（349.1）、PGGAN（91.89）を上回った。
• 脳MRIでは、SkrGAN が FID 27.51 を達成し、DCGAN（285.0）、ACGAN（222.5）、WGAN（176.1）、PGGAN（33.76）を上回った。
• DRIVE データセットにおける血管分類では、SkrGAN が生成した画像を用いた事前学習により、感度が 0.7781 から 0.8464 に上昇し、相対改善率 8.78% を達成した。
• AUC や正答率についても、SkrGAN が生成したデータを用いた事前学習により向上が確認され、データ拡張戦略としての有効性が裏付けられた。