[論文レビュー] Robust deep learning for eye fundus images: Bridging real and synthetic data for enhancing generalization

Guilherme Oliveira, Gustavo Henrique de Rosa+5 more|arXiv (Cornell University)|Mar 25, 2022

Retinal Imaging and Analysis被引用数 6

ひとこと要約

本稿では、年齢関連黄斑変性（AMD）検出のための深層学習モデルを強化するために、無料で特許を取得していない方法として、StyleGAN2-ADAを用いた高品質な合成網膜画像の生成を提案する。実験の結果、StyleGAN2-ADAで生成された合成画像はFréchet Inception Distance（FID）が166.17に達し、臨床医による識別が困難であり、合成データで拡張されたResNet-18分類器は85%の精度を示した。これは臨床専門医の平均精度（77.5%）を上回っている。

ABSTRACT

Deep learning applications for assessing medical images are limited because the datasets are often small and imbalanced. The use of synthetic data has been proposed in the literature, but neither a robust comparison of the different methods nor generalizability has been reported. Our approach integrates a retinal image quality assessment model and StyleGAN2 architecture to enhance Age-related Macular Degeneration (AMD) detection capabilities and improve generalizability. This work compares ten different Generative Adversarial Network (GAN) architectures to generate synthetic eye-fundus images with and without AMD. We combined subsets of three public databases (iChallenge-AMD, ODIR-2019, and RIADD) to form a single training and test set. We employed the STARE dataset for external validation, ensuring a comprehensive assessment of the proposed approach. The results show that StyleGAN2 reached the lowest Frechet Inception Distance (166.17), and clinicians could not accurately differentiate between real and synthetic images. ResNet-18 architecture obtained the best performance with 85% accuracy and outperformed the two human experts (80% and 75%) in detecting AMD fundus images. The accuracy rates were 82.8% for the test set and 81.3% for the STARE dataset, demonstrating the model's generalizability. The proposed methodology for synthetic medical image generation has been validated for robustness and accuracy, with free access to its code for further research and development in this field.

研究の動機と目的

• AMD用のラベル付き網膜画像データセットの不足と不均衡が、深層学習モデルの学習を制限する問題に対処する。
• 特許を取得したGAN手法の代替として、無料で利用可能な代替手法を開発する。
• 複数のGANアーキテクチャを用いて、合成網膜画像の品質と臨床的リアリズムを評価する。
• 合成データを用いたデータ拡張が、AMD分類における深層学習モデルの性能を人間の専門医の精度を超えるかを評価する。
• 研究の促進を目的として、オープンソースのツールと事前学習済みモデルを提供する。

提案手法

• iChallenge-AMD、ODIR-2019、RIADDの3つの公的データセットから得た実際の網膜画像を用い、DCGAN、LSGAN、WGAN、WGAN-GP、DRAGAN、EBGAN、BEGAN、CGAN、ACGAN、StyleGAN2-ADAを含む10種類の異なるGANアーキテクチャを訓練した。
• 画像品質とモード崩壊の緩和において優れた性能を示したため、データ生成にStyleGAN2-ADAを採用した。
• Fréchet Inception Distance（FID）を用いて合成画像の品質を評価し、低いスコアがよりリアルな品質を示す。
• 2名の臨床的網膜専門医による評価を通じて、実画像と合成画像の識別可能性を検証した。
• 実画像と合成画像を組み合わせた混合データセットを用いてResNet-18分類器を訓練し、AMD検出における分類性能を評価した。
• モデルの注目領域を解釈するため、Grad-CAMヒートマップを適用し、臨床的解釈可能性を支援した。

実験結果

リサーチクエスチョン

• RQ1 FIDと臨床的認識の両面で、AMD検出に最も高品質な合成網膜画像を生成するGANアーキテクチャはどれか？
• RQ2 臨床専門医は、GANで生成された合成網膜画像を実画像と信頼性高く区別できるか？
• RQ3 合成画像によるデータ拡張が、AMD対非AMD網膜画像の分類性能を向上させるか？
• RQ4 実画像と合成画像で学習した深層学習モデルは、人間の臨床専門医のAMD検出精度を上回るか？
• RQ5 異なるGANアーキテクチャは、多様な網膜画像の分布や品質レベルに対してどの程度一般化できるか？

主な発見

• StyleGAN2-ADAは、全評価GAN中で最小のFréchet Inception Distance（FID）166.17を達成し、実際の網膜画像との知覚的類似度が最も高いことを示した。
• 臨床専門医は実画像と合成画像を信頼性高く区別できず、分類精度は約50%にとどまった。これは、極めて高いリアリズムと臨床的妥当性を示している。
• 実画像と合成画像を組み合わせた混合データセットで学習したResNet-18分類器は、AMD検出で85%の精度を達成し、臨床専門医の平均精度（77.5%）を上回った。
• StyleGAN2-ADAで生成された合成画像は、ドライゼンなどの重要な病理的特徴を保持しており、臨床的関連性があることが示された。
• 最近特許を取得したGANベースの手法と同等の性能を達成したが、完全に公開され、オープンソースの実装が可能である。
• 本研究の全パイプライン（事前学習済みモデルとコードを含む）は、https://github.com/GuiCamargoX/amd-synthetic にて公開されており、再現性とさらなる研究を支援する。