[논문 리뷰] Generative Adversarial U-Net for Domain-free Medical Image Augmentation

Xiaocong Chen, Yun Li외 3명|arXiv (Cornell University)|2021. 01. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 41인용 수 9

한 줄 요약

이 논문은 도메인에 종속되지 않은 생성적 적대적 U-Net (GAN-UNet)을 제안하여, 도메인 특화 보정 없이 다양한 영상 모odalities에서 고품질이고 다양한 의료 영상을 합성한다. U-Net 아키텍처를 조건부 GAN과 통합하고, 정규분포 잡음으로 잠재공간 조건을 적용함으로써 모델은 현실적인 영상을 생성하며, 이는 여덟 개인 다양한 데이터셋에서 하류 분류 성능을 크게 향상시킨다. FID 및 분류 지표에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The shortage of annotated medical images is one of the biggest challenges in the field of medical image computing. Without a sufficient number of training samples, deep learning based models are very likely to suffer from over-fitting problem. The common solution is image manipulation such as image rotation, cropping, or resizing. Those methods can help relieve the over-fitting problem as more training samples are introduced. However, they do not really introduce new images with additional information and may lead to data leakage as the test set may contain similar samples which appear in the training set. To address this challenge, we propose to generate diverse images with generative adversarial network. In this paper, we develop a novel generative method named generative adversarial U-Net , which utilizes both generative adversarial network and U-Net. Different from existing approaches, our newly designed model is domain-free and generalizable to various medical images. Extensive experiments are conducted over eight diverse datasets including computed tomography (CT) scan, pathology, X-ray, etc. The visualization and quantitative results demonstrate the efficacy and good generalization of the proposed method on generating a wide array of high-quality medical images.

연구 동기 및 목표

• 딥 러닝 기반 의료 영상 분석에서 부족한 레이블이 부여된 의료 영상의 심각한 과제를 해결한다.
• 회전, 자르기 등의 전통적 데이터 증강 기법이 픽셀 수준의 변형만 도입하고 데이터 泄露 위험을 유발하는 한계를 극복한다.
• CT, X-ray, 병리와 같은 다양한 영상 모달리티에서 고해상도 의료 영상을 합성할 수 있는 일반화 가능한 도메인에 종속되지 않은 생성 모델을 개발한다.
• 다양하고 현실적인 합성 학습 샘플을 생성함으로써 하류 분류기의 강건성과 일반화 능력을 향상시킨다.

제안 방법

• 생성자에서 인코딩된 잠재 특징과 임의의 정규분포 잡음 모두를 사용하여 영상 생성을 수행하는, U-Net과 조건부 GAN을 결합한 새로운 아키텍처를 제안한다.
• 실제 영상 쌍 (x_i, x_j) 과 가짜 쌍 (x_i, x_g) 을 구분하는 판별자를 설계하며, 여기서 x_g 는 생성된 영상이다. 이를 통해 분포 유사성을 강제한다.
• GAN 훈련의 안정성과 수렴성을 향상시키기 위해, Adam 옵티마이저(β₁ = 0, β₂ = 0.9)를 사용하고 λ = 10 의 기울기 페널티를 적용한다.
• 훈련, 검증, 테스트 세트를 위해 축 방향 영상 추출, 256×256×3 크기로 리사이징, 환자 수준의 데이터 분할(7:1:2)을 포함한 영상 전처리를 적용한다.
• 생성자와 판별자를 함께 훈련하며, 생성자가 실제 영상과 생성된 영상 간의 분포 간격을 최소화하도록 하는 적대적 손실을 사용한다.
• 이미지 품질 평가에 Fréchet Inception Distance (FID) 를, 분류 가능성을 평가하기 위해 픽셀 단위 정확도 (PA) 를 사용하며, 하류 분류기로는 ResNet-18, ResNet-50, DenseNet-161, SVM 을 사용한다.

실험 결과

연구 질문

• RQ1 단일 생성 모델이 도메인 특화 미세조정 없이도 다양한 영상 모달리티에서 고품질이고 다양한 의료 영상을 생성할 수 있는가?
• RQ2 제안된 GAN-UNet 아키텍처가 현실적인 의료 영상을 생성하는 데 있어 표준 GAN과 조건부 GAN을 초월하는가?
• RQ3 모델이 생성한 합성 데이터가 하류 분류 모델의 성능을 어느 정도 향상시키는가?
• RQ4 CT, X-ray, 초음파와 같은 다양한 의료 영상 도메인에서 모델의 안정성과 일반화 능력은 어떠한가?

주요 결과

• 제안된 GAN-UNet 은 여덟 개인 모든 데이터셋에서 가장 낮은 Fréchet Inception Distance (FID) 를 기록하여, 바닐라 GAN 및 조건부 GAN 기준선 대비 뛰어난 이미지 품질을 입증했다.
• 모든 여덟 데이터셋에서 생성된 영상의 사용이 ResNet-18, ResNet-50, DenseNet-161, SVM 등 네 가지 분류기의 분류 정확도, 정밀도, 재현율, AUC 모두를 유의미하게 향상시켰다.
• 그림 2 의 시각화 결과에 따르면, 제안된 방법으로 생성된 영상가 GAN 또는 조건부 GAN 대비 실제 의료 영상과 더 유사하며 해부학적 구조와 질감을 더 잘 유지하고 있다.
• 모델는 재학습이나 도메인 적응 없이도 폐 CT, 흉부 X-ray, 유방 초음파 등 다양한 모달리티에서 고해상도 영상을 성공적으로 생성하여 강력한 일반화 능력을 보였다.
• 이 방법은 이미지 생성 품질(FID)과 하류 분류 성능 양면에서 최신 기술 수준의 성능을 달성하여, 효과성과 강건성을 확인했다.