[論文レビュー] Performance of GAN-based augmentation for deep learning COVID-19 image classification

Oleksandr Fedoruk, K. Klimaszewski+2 more|arXiv (Cornell University)|Apr 18, 2023

COVID-19 diagnosis using AI参考文献 51被引用数 4

ひとこと要約

本研究では、StyleGAN2-ADAを用いたGANベースのデータ拡張が、4クラス（COVID-19、ウイルス性肺炎、細菌性肺炎、正常）のCOVID-19胸部レントゲン画像における深層学習分類の性能向上を評価する。高品質な合成画像を生成したが、GANによるデータ拡張は古典的手法のデータ拡張および単純なクラスバランス手法を下回り、効率的ネット-B0は、拡張なしでバランスデータで90.2%の正確度を達成した。これは、このデータセットに関しては、追加のGAN生成データが恩恵をもたらさず、むしろ性能を低下させる可能性があることを示している。

ABSTRACT

The biggest challenge in the application of deep learning to the medical domain is the availability of training data. Data augmentation is a typical methodology used in machine learning when confronted with a limited data set. In a classical approach image transformations i.e. rotations, cropping and brightness changes are used. In this work, a StyleGAN2-ADA model of Generative Adversarial Networks is trained on the limited COVID-19 chest X-ray image set. After assessing the quality of generated images they are used to increase the training data set improving its balance between classes. We consider the multi-class classification problem of chest X-ray images including the COVID-19 positive class that hasn't been yet thoroughly explored in the literature. Results of transfer learning-based classification of COVID-19 chest X-ray images are presented. The performance of several deep convolutional neural network models is compared. The impact on the detection performance of classical image augmentations i.e. rotations, cropping, and brightness changes are studied. Furthermore, classical image augmentation is compared with GAN-based augmentation. The most accurate model is an EfficientNet-B0 with an accuracy of 90.2 percent, trained on a dataset with a simple class balancing. The GAN augmentation approach is found to be subpar to classical methods for the considered dataset.

研究の動機と目的

• 深層学習によるCOVID-19分類における限られた、かつ不均衡な医療画像データの課題に対処すること。
• 古典的手法のデータ拡張を超えて、GANベースのデータ拡張が多クラスCOVID-19レントゲン画像分類の性能向上に寄与するかを調査すること。
• FID、RMSE、SRE、SSIMなどの複数の画像類似度指標を用いて、GAN生成の合成X線画像の品質と代表性を検証すること。
• さまざまなデータ拡張戦略の下で、複数の深層学習モデル（EfficientNet-B0、Inception-v3）の性能を比較すること。
• サリエンシーマップを用いたモデルの解釈可能性の評価を行い、モデルが生物学的に妥当な特徴を学習するのか、それとも「短絡的」な相関に依存するのかを検討すること。

提案手法

• 4クラスの胸部レントゲン画像（COVID-19、ウイルス性肺炎、細菌性肺炎、正常）の限られた不均衡なデータセット上で、StyleGAN2-ADAモデルを訓練し、合成画像を生成した。
• FID、RMSE、SRE、SSIMを用いて、GAN生成画像の品質を評価し、クラス内およびクラス間の類似度分布を比較した。
• 古典的手法のデータ拡張（回転、クロッピング、明るさの変更）を適用し、複数の訓練シナリオにおいてGANベースの拡張と比較した。
• バランスデータセットおよび拡張済みデータセット上で、微調整および評価を実施した。モデルはEfficientNet-B0およびInception-v3を用いた。
• 各拡張戦略間の性能差の統計的有意性を評価するために、Stuart-Maxwell検定を用いた。
• サリエンシーマップを用いてモデルの注目度を分析し、短絡的学習の有無を検出するとともに、注目度が肺領域に集中しているかを評価した。

実験結果

リサーチクエスチョン

• RQ1 GANベースのデータ拡張は、古典的手法のデータ拡張および単純なクラスバランス手法に比べて、多クラスCOVID-19レントゲン画像分類における深層学習モデルの性能を向上させるか？
• RQ2 FIDおよび類似度指標で測定した場合、GAN生成の合成X線画像は、実画像の分布と品質の点でどの程度一致しているか？
• RQ3 GAN拡張による性能低下は、合成画像の品質が悪いことによるものか、それともデータ分布自体の本質的制限によるものか？
• RQ4 GAN拡張データで訓練された深層学習モデルは、肺領域に意味のある注目パターンを学習するのか、それとも誤った相関に依存するのか？
• RQ5 サリエンシーマップは、モデルが生物学的に関連のある領域（例：肺）に注目していることを確認できるか。それとも、アーチファクトや横隔膜のような解剖学的構造に注目しているのか？

主な発見

• 最も高い正確度を示したのは、拡張なしのバランスデータセットで訓練されたEfficientNet-B0で、90.2%の正確度を達成した。
• GANベースの拡張は、評価されたすべてのモデルおよび指標において、古典的手法のデータ拡張および単純なクラスバランス手法を一貫して下回った。
• 古典的手法のデータ拡張はInception-v3の性能を向上させたが、すでに高い正確度を達成していたEfficientNet-B0には追加の恩恵がなかった。
• 画像品質指標（FID、RMSE、SRE、SSIM）により、GAN生成画像が実画像と極めて類似していることが確認され、高品質な合成が実現していることが示された。
• サリエンシーマップ分析では、モデルが主に肺領域に注目していたが、一部は横隔膜のような非診断的領域にも注目していたため、短絡的学習は最小限に抑えられていた。
• 本研究では、この特定のデータセットに関しては、GAN拡張の複雑さが性能向上に結びつかず、十分にバランスの取れたデータセットでは追加の合成データが有益でない可能性があることが判明した。