[論文レビュー] Synthetic Medical Images from Dual Generative Adversarial Networks

John Guibas, Tejpal S. Virdi+1 more|arXiv (Cornell University)|Sep 6, 2017

Generative Adversarial Networks and Image Synthesis参考文献 7被引用数 111

ひとこと要約

この論文は、幾何学（ステージ I）とフォトリアリズム（ステージ II）に分解して医用画像生成を行う2段階GANパイプラインを提案し、プライバシーを保護しつつ公開データアクセスを促進する合成網膜底検査写真を作成する。

ABSTRACT

Currently there is strong interest in data-driven approaches to medical image classification. However, medical imaging data is scarce, expensive, and fraught with legal concerns regarding patient privacy. Typical consent forms only allow for patient data to be used in medical journals or education, meaning the majority of medical data is inaccessible for general public research. We propose a novel, two-stage pipeline for generating synthetic medical images from a pair of generative adversarial networks, tested in practice on retinal fundi images. We develop a hierarchical generation process to divide the complex image generation task into two parts: geometry and photorealism. We hope researchers will use our pipeline to bring private medical data into the public domain, sparking growth in imaging tasks that have previously relied on the hand-tuning of models. We have begun this initiative through the development of SynthMed, an online repository for synthetic medical images.

研究の動機と目的

• 公開医用画像データへのアクセスを動機づけ、現実的な合成画像を生成する。
• 私的な患者データへの依存を減らす。
• 画像生成を幾何学に焦点を当てるステージとフォトリアリズムに焦点を当てるステージに分割し、安定性と多様性を向上させる。

提案手法

• Stage-I GAN（DCGAN）は、画像の幾何を表す多様なセグメンテーションマスクを生成する。
• Stage-II GAN（画像から画像への翻訳を伴うCGAN）は、セグメンテーションマスクをフォトリアリスティックな画像に写像する。
• トレーニングには、セグメンテーションマスク用にDRIVE、フォトリアリスティックペア用にMESSIDORを使用し、単一GANモデルとの比較を行う。
• 合成データを用いてU-netのセグメンテーションネットワークを訓練し、セグメンテーションタスクへの有用性を評価する。
• 評価にはF1スコア、合成データと実データ分布間のKL発散、定性的分析を含む。

実験結果

リサーチクエスチョン

• RQ1 デュアル-GANパイプラインは、現実的な幾何学とフォトリアリズムを持つ合成医用画像を生成できるか？
• RQ2 このパイプライン由来の合成データは、医用画像のセグメンテーションモデルの効果的な学習を支援するか？
• RQ3 KL発散とF1性能の観点から、合成データ分布は実データとどう比較されるか？
• RQ4 視網膜画像を超えるデータセット（例：BU-BIL ラット細胞画像）にもこのアプローチは一般化可能か？

主な発見

• 合成データで訓練したU-netはF1 = 0.8877を達成し、DRIVEで訓練したU-netのF1 = 0.8988に近い。
• 合成データのKL発散は4.759で、実データと比較して分布の差は観測可能だが同一ではない（実データサブセット比較は4.212e-4）。
• 幾何学とフォトリアリズムを分離することで、画質が向上し、訓練の安定性と画像の多様性が高まる。
• このパイプラインは合成網膜画像とセグメンテーションマスクを成功裏に生成し、別ドメイン（BU-BILラット細胞）への転移を示した。
• 定性的結果は、Stage-IIが幾何学からフォトリアリズムへの写像を学習し、Stage-Iが多様なセグメンテーション幾何を生成することを示している。