[논문 리뷰] General-to-Detailed GAN for Infrequent Class Medical Images

Tatsuki Koga, Naoki Nonaka외 2명|arXiv (Cornell University)|2018. 11. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 12인용 수 8

한 줄 요약

이 논문은 일반 레이블(예: 성별)을 사용해 다양하게 의료 영상을 생성한 다음 질병 특이적인 세부 레이블(예: 심장비대)으로 보정하는 두 단계 GAN 프레임워크인 General-to-Detailed GAN(GDGAN)을 제안한다. GDGAN은 희귀 의료 클래스의 분류 성능을 크게 향상시키며, 데이터 증강에 사용되었을 때 NIH 흉부 X선 데이터셋에서 심장비대에 대해 최고의 AUC(0.8207)를 기록했다.

ABSTRACT

Deep learning has significant potential for medical imaging. However, since the incident rate of each disease varies widely, the frequency of classes in a medical image dataset is imbalanced, leading to poor accuracy for such infrequent classes. One possible solution is data augmentation of infrequent classes using synthesized images created by Generative Adversarial Networks (GANs), but conventional GANs also require certain amount of images to learn. To overcome this limitation, here we propose General-to-detailed GAN (GDGAN), serially connected two GANs, one for general labels and the other for detailed labels. GDGAN produced diverse medical images, and the network trained with an augmented dataset outperformed other networks using existing methods with respect to Area-Under-Curve (AUC) of Receiver Operating Characteristic (ROC) curve.

연구 동기 및 목표

• 희귀 질병의 훈련 샘플이 부족한 의료 영상 데이터셋에서의 클래스 불균형 문제를 해결한다.
• 기존 GAN이 희귀 클래스에 대해 의미 있는 샘플을 생성하기 위해 상당한 실재 데이터가 필요하다는 한계를 극복한다.
• 희귀 질병 클래스를 위한 고품질이고 다양한 의료 영상을 합성하여 후속 분류 성능을 향상시키는 방법을 개발한다.
• 일단 일반 해부학적 특징을 학습한 다음 질병 특이적 병변을 추가하는 계층적 생성 전략을 탐색한다.

제안 방법

• GDGAN은 두 개의 순차적으로 연결된 GAN을 사용한다: 첫 번째는 일반 레이블(예: 성별, 영상 위치)에 조건부로 영상을 생성하고, 두 번째는 질병 특이적 레이블(예: 심장비대)을 추가한다.
• 첫 번째 GAN은 기울기 보정이 있는 워샤프스키 GAN(Wasserstein GAN with gradient penalty)과 클래스 로그우도 손실을 사용하여 다양성과 올바른 일반 레이블 생성을 보장한다.
• 두 번째 GAN은 WGAN 손실, 일반 레이블과 세부 레이블 모두에 대한 클래스 로그우도 손실, 그리고 입력 영상과 생성 영상 간의 평균 제곱오차 손실을 포함하여 재구성 정밀도를 확보한다.
• 모델은 두 단계로 훈련된다: 먼저 일반 GAN을 훈련한 후, 첫 번째 단계의 출력을 입력으로 받아 세부 GAN을 훈련한다.
• 데이터 증강은 실제 희귀 클래스 영상들을 GDGAN가 생성한 합성 영상으로 대체함으로써 수행되며, 이는 재학습된 VGGNet-19 분류기의 훈련에 사용된다.
• 평가에는 영상 다양성을 평가하는 인ception 스코어와 NIH 흉부 X선 데이터셋에서의 분류 성능에 대한 AUC(Receiver Operating Characteristic)를 사용한다.

실험 결과

연구 질문

• RQ1 두 단계 GAN 프레임워크는 희귀 질병 클래스를 위한 다양하고 현실적인 의료 영상을 효과적으로 생성할 수 있는가?
• RQ2 일반 특징을 먼저 학습하고 나서 세부 병변을 추가하는 계층적 생성 전략은 단일 단계 GAN에 비해 합성 의료 영상의 품질과 다양성을 향상시키는가?
• RQ3 GDGAN가 생성한 영상은 희귀 질병 분류 작업에서 딥 러닝 모델의 성능을 향상시킬 수 있는가?
• RQ4 GDGAN는 전통적인 데이터 증강 기법(예: 오버샘플링, 언더샘플링)과 비교할 때 희귀 질병 탐지의 AUC 측면에서 어떻게 성능을 내는가?

주요 결과

• GDGAN가 생성한 영상의 인ception 스코어는 2.3220으로, 실재 데이터셋의 스코어인 2.1258보다 유의미하게 높았으며(p = 4.3748e-16), 더 뛰어난 영상 다양성을 나타낸다.
• GDGAN의 인ception 스코어(2.3220)는 ACGAN의 스코어(2.7716)보다 낮지만, 후속 분류 성능에서 ACGAN을 능가했다.
• GDGAN를 사용해 증강한 데이터로 훈련된 VGGNet-19 분류기는 심장비대에 대해 평균 AUC 0.8207을 기록하여 원본 데이터셋(0.8074)과 다른 증강 방법을 모두 초월했다.
• GDGAN의 AUC 표준편차(0.0066)는 모든 방법 중에서 가장 낮아, 높은 훈련 안정성과 재현 가능성을 나타낸다.
• 오버샘플링과 ACGAN 기반 증강보다 GDGAN이 우수했으며, 다음으로 성능이 좋았던 방법(ACGAN: 0.7963)에 비해 AUC가 1.3%p 높았다.
• 결과적으로 GDGAN는 희귀 질병 클래스에 대해 고품질이고 다양한 합성 영상을 생성함으로써 데이터 불균형 문제를 효과적으로 완화함을 보여주었다.