[논문 리뷰] Data Augmentation For Medical MR Image Using Generative Adversarial Networks

Panjian Huang, Xu Liu외 1명|arXiv (Cornell University)|2021. 11. 29.

Advanced Image Processing Techniques참고 문헌 27인용 수 8

한 줄 요약

이 논문은 데이터 증강을 위한 고품질이고 다양한 256×256 뇌종양 MRI 영상을 생성하기 위해 구조적 유사도 손실 함수를 통합한 생성 적대 신경망인 PGGAN-SSIM을 제안한다. 학습 안정성 향상과 모드 붕괴 감소를 통해 FID(33.266)와 MS-SSIM(0.6617)에서 최신 기술 수준의 성능을 달성하였으며, 기준 GAN 및 실제 데이터보다 샘플 다양성에서 뛰어난 성능을 보였다.

ABSTRACT

Computer-assisted diagnosis (CAD) based on deep learning has become a crucial diagnostic technology in the medical industry, effectively improving diagnosis accuracy. However, the scarcity of brain tumor Magnetic Resonance (MR) image datasets causes the low performance of deep learning algorithms. The distribution of transformed images generated by traditional data augmentation (DA) intrinsically resembles the original ones, resulting in a limited performance in terms of generalization ability. This work improves Progressive Growing of GANs with a structural similarity loss function (PGGAN-SSIM) to solve image blurriness problems and model collapse. We also explore other GAN-based data augmentation to demonstrate the effectiveness of the proposed model. Our results show that PGGAN-SSIM successfully generates 256x256 realistic brain tumor MR images which fill the real image distribution uncovered by the original dataset. Furthermore, PGGAN-SSIM exceeds other GAN-based methods, achieving promising performance improvement in Frechet Inception Distance (FID) and Multi-scale Structural Similarity (MS-SSIM).

연구 동기 및 목표

• 딥 러닝 기반 의료 진단에서 제한적이고 다양성이 낮은 뇌종양 MRI 데이터셋 문제를 해결하기 위해.
• GAN 기반 데이터 증강을 통해 256×256 뇌종양 MRI 영상의 품질과 다양성을 향상시키기 위해.
• 작은 의료 데이터셋에서 학습하는 GAN에서의 모드 붕괴와 영상 흐림 현상을 완화하기 위해.
• 구조적 유사도(SSIM) 손실이 생성된 MRI 샘플의 현실성과 다양성 향상에 미치는 영향을 평가하기 위해.

제안 방법

• BRATS 2019 데이터셋의 256×256 FLAIR 뇌 MRI 절편에서 학습하기 위해 프로그레시브 성장 GANs(PGGAN)를 적응하였다.
• 생성자 손실에 구조적 유사도(SSIM) 손실 함수를 도입하여 인지적 품질 향상과 흐림 감소를 도모하였다.
• 학습 안정성 향상과 모드 붕괴 방지를 위해 기울기 페널티를 GAN 학습 과정에 통합하였다.
• 다양성과 재구성 정밀도 사이의 최적 균형을 확보하기 위해 잠재 벡터 크기 512를 사용하였다.
• 배치 크기 32, Adam 옵timizer(lr=0.001)를 사용하여 8×3090 GPU에서 12,000 반복 동안 학습하였다.
• 10,000개와 2,000개의 샘플 쌍을 각각 사용하여 FID 및 MS-SSIM 지표로 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 기준 GAN보다 PGGAN에 SSIM 손실을 적용한 경우 더 현실적이고 다양한 256×256 뇌종양 MRI 영상을 생성할 수 있는가?
• RQ2 SSIM 손실의 추가가 GAN 기반 의료 영상 생성에서 모드 붕괴와 영상 흐림에 어떤 영향을 미치는가?
• RQ3 PGGAN-SSIM을 사용할 때 고해상도 뇌종양 MRI를 생성하기 위한 최적의 잠재 벡터 크기(z)는 무엇인가?
• RQ4 MS-SSIM에서 PGGAN-SSIM이 실제 데이터를 초월하는가? 이는 샘플 다양성 향상의 증거인가?
• RQ5 PGGAN-SSIM를 활용한 GAN 기반 데이터 증강이 후속 의료 영상 검출 성능을 향상시킬 수 있는가?

주요 결과

• PGGAN-SSIM는 모든 모델 중에서 가장 낮은 프리셰트 인ception 거리(FID) 점수 33.266을 기록하여 생성 영상의 높은 현실성을 입증하였다.
• PGGAN-SSIM의 MS-SSIM 점수(0.6617)는 실제 데이터(0.6627)를 略로 초월하여 샘플 다양성 향상이 뛰어나다는 것을 시사한다.
• 512차원 잠재 벡터(z512)를 사용한 PGGAN 모델은 FID 32.272로 가장 우수한 성능을 기록하였으며, 더 큰 벡터(z1024)보다 뛰어났다.
• α-GAN-GP는 높은 흐림과 낮은 다양성을 보였으며, FID(127.15)는 높고 MS-SSIM(0.7206)는 낮아 성능에 한계가 있음을 확인하였다.
• SSIM 손실의 추가로 MS-SSIM가 향상되고 모드 붕괴가 감소하였으며, FID는 약간 증가했음에도 불구하고 데이터 증강에 유의미한 기여를 함을 확인하였다.
• PGGAN-SSIM는 원본 데이터셋의 분포 갭을 메우는 현실적이고 고해상도의 뇌종양 MRI 영상을 성공적으로 생성하였다.