[論文レビュー] SAG-GAN: Semi-Supervised Attention-Guided GANs for Data Augmentation on Medical Images

Chang Qi, Junyang Chen+4 more|arXiv (Cornell University)|Nov 15, 2020

AI in cancer detection参考文献 29被引用数 12

ひとこと要約

本論文では、サイクル整合性学習を用いて、正常なMRIスキャンからリアルな腫瘍画像を生成し、逆にそれらを元に戻す半教師付きアテンションガイド付きGAN、SAG-GANを提案する。敵対的損失とピxls単位の損失をアテンションモジュールに統合することで、生成の正確性と耐性を向上させ、最先端の手法と比較して限られた医療画像データセットにおいて分類精度とAUCの顕著な向上を達成した。

ABSTRACT

Recently deep learning methods, in particular, convolutional neural networks (CNNs), have led to a massive breakthrough in the range of computer vision. Also, the large-scale annotated dataset is the essential key to a successful training procedure. However, it is a huge challenge to get such datasets in the medical domain. Towards this, we present a data augmentation method for generating synthetic medical images using cycle-consistency Generative Adversarial Networks (GANs). We add semi-supervised attention modules to generate images with convincing details. We treat tumor images and normal images as two domains. The proposed GANs-based model can generate a tumor image from a normal image, and in turn, it can also generate a normal image from a tumor image. Furthermore, we show that generated medical images can be used for improving the performance of ResNet18 for medical image classification. Our model is applied to three limited datasets of tumor MRI images. We first generate MRI images on limited datasets, then we trained three popular classification models to get the best model for tumor classification. Finally, we train the classification model using real images with classic data augmentation methods and classification models using synthetic images. The classification results between those trained models showed that the proposed SAG-GAN data augmentation method can boost Accuracy and AUC compare with classic data augmentation methods. We believe the proposed data augmentation method can apply to other medical image domains, and improve the accuracy of computer-assisted diagnosis.

研究の動機と目的

• 希少な異常（腫瘍など）のためのアノテート済み医療画像データセットが限られているという課題に対処すること。
• 手動による病変マスクに依存せずに、正常なMRIスキャンから高精細でリアルな腫瘍画像を生成すること。
• 合成的に生成された画像を用いて訓練データを拡張することで、深層学習モデルの腫瘍分類性能を向上させること。
• 形状やサイズのばらつきがある中でも、正確な腫瘍局在を実現するためのGANにおけるアテンションマッピングの安定化。
• 他の低データ量の医療画像分野にも適用可能なデータ拡張手法の開発。

提案手法

• モデルは、正常なMRI画像と腫瘍画像の間で画像対画像変換を可能にする、CycleGANベースのアーキテクチャを採用しており、2つの生成器と2つの識別器を備える。
• 両方の生成器および識別器に半教師付きアテンションモジュールを統合し、敵対的損失とピxls単位の再構成損失を用いて、腫瘍領域の正確な局在をガイドする。
• 訓練プロセスの安定化とGANの収束性向上を図るため、識別器にスペクトル正規化を適用する。
• サイクル整合性損失により、正常画像を腫瘍画像に変換し、再び元の画像に戻すことで、元のコンテンツが保持されるようにし、構造的一致性を強制する。
• アテンション機構は弱教師付きで学習され、完全なセグメンテーションマスクを必要とせずに腫瘍領域を強調するように学習する。
• SAG-GANが生成した合成画像を用いて、実データを拡張し、ResNet18を訓練することで、手法の評価が行われた。

実験結果

リサーチクエスチョン

• RQ1 アノテーションマスクを必要とせずに、GANベースのデータ拡張手法が正常なMRIスキャンからリアルな腫瘍画像を生成できるか？
• RQ2 半教師付きアテンション機構を統合することで、生成画像の正確性と局在精度がどのように向上するか？
• RQ3 SAG-GANが生成するデータは、従来のデータ拡張法や最先端のGAN手法と比較して、下流の分類モデルの性能をどの程度向上させるか？
• RQ4 提案手法は、生成画像にアーティファクトや誤検出を導入せず、画像の事前知識（画像の先験的特徴）を維持できるか？
• RQ5 本手法は、腫瘍セグメンテーションなど、データが限られた他の医療画像処理タスクにも一般化可能か？

主な発見

• SAG-GANは、小規模なトレーニングセット（BraTS_S）において、ベースラインのデータ拡張手法と比較して25.51%の相対的な精度向上を達成した。
• 小規模なトレーニングセットにおいて、AUCが32.27%向上し、モデルの識別性能の顕著な向上を示した。
• 完全なBraTSデータセットにおいて、SAG-GANは95.30%の精度と0.9530のAUCを達成し、CycleGAN や UAGGAN を含むすべての比較ベースラインを上回った。
• 視覚的検査により、生成された腫瘍画像がT1c強調MRIのコントラストに一致するリアルなテクスチャと解剖学的配置を示していることが確認された。
• 半教師付きアテンション機構により、訓練が安定化し、腫瘍の形状が画像ごとに変化しても局在精度が向上した。
• 本手法は、従来のGANベースの手法が抱える小規模（例：32×32）出力の制限を克服し、240×240のフルサイズMRI画像を正常に生成できた。