[논문 리뷰] SAG-GAN: Semi-Supervised Attention-Guided GANs for Data Augmentation on Medical Images

Chang Qi, Junyang Chen외 4명|arXiv (Cornell University)|2020. 11. 15.

AI in cancer detection참고 문헌 29인용 수 12

한 줄 요약

이 논문은 순환 일致성 훈련을 사용하여 정상 MRI 스캔에서부터 실제적인 종양 영상을 생성하고, 그 반대로도 생성할 수 있는 반감독형 주의 유도 GAN인 SAG-GAN을 제안한다. 적대적 손실과 픽셀 단위 손실을 주의 모듈에 통합함으로써 모델은 생성 품질과 강건성을 향상시켜, 최신 기법들에 비해 제한된 의료 영상 데이터셋에서 분류 정확도와 AUC에 있어 뚜렷한 향상을 이룬다.

ABSTRACT

Recently deep learning methods, in particular, convolutional neural networks (CNNs), have led to a massive breakthrough in the range of computer vision. Also, the large-scale annotated dataset is the essential key to a successful training procedure. However, it is a huge challenge to get such datasets in the medical domain. Towards this, we present a data augmentation method for generating synthetic medical images using cycle-consistency Generative Adversarial Networks (GANs). We add semi-supervised attention modules to generate images with convincing details. We treat tumor images and normal images as two domains. The proposed GANs-based model can generate a tumor image from a normal image, and in turn, it can also generate a normal image from a tumor image. Furthermore, we show that generated medical images can be used for improving the performance of ResNet18 for medical image classification. Our model is applied to three limited datasets of tumor MRI images. We first generate MRI images on limited datasets, then we trained three popular classification models to get the best model for tumor classification. Finally, we train the classification model using real images with classic data augmentation methods and classification models using synthetic images. The classification results between those trained models showed that the proposed SAG-GAN data augmentation method can boost Accuracy and AUC compare with classic data augmentation methods. We believe the proposed data augmentation method can apply to other medical image domains, and improve the accuracy of computer-assisted diagnosis.

연구 동기 및 목표

• 희귀한 이상 소견(예: 종양)에 대해 특히 annotation이 부족한 의료 영상 데이터셋의 문제를 해결하기 위해.
• 수동으로 병변 마스크를 사용하지 않고도 정상 MRI 스캔에서 고해상도의 실제적인 종양 영상을 생성하기 위해.
• 합성적으로 생성된 영상을 통해 훈련 데이터를 증강함으로써 종양 분류에 대한 딥 러닝 모델 성능을 향상시키기 위해.
• 형태와 크기의 변동성에도 불구하고 정확한 종양 위치 추적을 위해 주의 맵핑을 안정화하기 위해.
• 저자료 가용성이 낮은 다른 의료 영상 분야에 적용 가능한 데이터 증강 방법을 개발하기 위해.

제안 방법

• 모델은 정상 및 종양 MRI 영상 간의 이미지 간 번역을 가능하게 하기 위해 두 개의 생성자와 두 개의 판별자를 갖는 CycleGAN 기반 아키텍처를 사용한다.
• 반감독형 주의 모듈이 두 생성자와 판별자에 통합되며, 적대적 손실과 픽셀 단위 복원 손실을 사용하여 종양 영역의 정밀한 국소화를 유도한다.
• 훈련 과정의 안정성 향상과 GAN 수렴 개선을 위해 판별자에 스펙트럼 정규화를 적용한다.
• 사이클 일관성 손실은 정상 영상을 종양 영상으로 번역하고 다시 원래의 내용으로 복원함으로써 구조적 일관성을 강제한다.
• 주의 메커니즘은 약한 지도 학습 방식으로 훈련되어, 전체 세그멘테이션 마스크가 필요 없이도 종양 영역을 강조하도록 학습한다.
• SAG-GAN이 생성한 합성 영상을 사용하여 실제 데이터를 증강한 상태에서 ResNet18을 훈련시켜 평가한다.

실험 결과

연구 질문

• RQ1 병변 마스크가 필요 없이 GAN 기반 데이터 증강 방법이 정상 MRI 스캔에서 실제적인 종양 영상을 생성할 수 있는가?
• RQ2 반감독형 주의 메커니즘을 통합함으로써 생성된 종양 영상의 품질과 국소화 정확도는 얼마나 향상되는가?
• RQ3 SAG-GAN이 생성한 데이터는 전통적 데이터 증강 기법과 최신 GAN 기법에 비해 하류 분류 모델의 성능을 얼마나 향상시키는가?
• RQ4 제안된 방법은 생성된 영상에 이미지 사전 지식을 유지하고, 잡음이나 거짓 양성 결과를 유발하지 않는가?
• RQ5 이 모델은 자가 종양 세그멘테이션과 같은 저자료 가용성이 낮은 다른 의료 영상 작업으로 일반화 가능한가?

주요 결과

• SAG-GAN은 소규모 훈련 세트(BraTS_S)에서 기준 데이터 증강 기법 대비 정확도가 25.51% 상승시켰다.
• 소규모 훈련 세트에서 AUC가 32.27% 향상되어 모델의 분류 성능 향상이 뚜렷하게 나타났다.
• 전체 BraTS 데이터셋에서 SAG-GAN은 95.30%의 정확도와 0.9530의 AUC를 기록하여, CycleGAN 및 UAGGAN을 포함한 모든 비교 기준 모델을 앞섰다.
• 시각적 검토 결과 생성된 종양 영상에서 T1c-가중 MRI 대비 실제적인 질감과解부학적 위치가 일관되게 나타났다.
• 반감독형 주의 메커니즘이 훈련을 안정화시키고, 종양의 형태가 영상 간에 다양하더라도 국소화 정확도를 향상시켰다.
• 기존 GAN 기반 접근 방식에서의 작은 크기(예: 32×32) 출력의 한계를 극복하여 전체 크기의 240×240 MRI 영상을 성공적으로 생성했다.