[논문 리뷰] GAN Augmentation: Augmenting Training Data using Generative Adversarial Networks

Christopher Bowles, Liang Chen외 8명|arXiv (Cornell University)|2018. 10. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 359

한 줄 요약

논문은 GAN 유도 합성 데이터가 뇌 영상 분할 성능을 향상시킬 수 있음을 보여주며, 실제 라벨 데이터가 부족할 때 특히 CT 및 MR 작업 전반에 걸쳐 Dice Similarity Coefficient(DSC) 점수가 약 1–5% 포인트 증가한다.

ABSTRACT

One of the biggest issues facing the use of machine learning in medical imaging is the lack of availability of large, labelled datasets. The annotation of medical images is not only expensive and time consuming but also highly dependent on the availability of expert observers. The limited amount of training data can inhibit the performance of supervised machine learning algorithms which often need very large quantities of data on which to train to avoid overfitting. So far, much effort has been directed at extracting as much information as possible from what data is available. Generative Adversarial Networks (GANs) offer a novel way to unlock additional information from a dataset by generating synthetic samples with the appearance of real images. This paper demonstrates the feasibility of introducing GAN derived synthetic data to the training datasets in two brain segmentation tasks, leading to improvements in Dice Similarity Coefficient (DSC) of between 1 and 5 percentage points under different conditions, with the strongest effects seen fewer than ten training image stacks are available.

연구 동기 및 목표

• 레이블이 비싸고 부족한 의료 영상에서 데이터 증강의 동기를 제시한다.
• GAN으로 생성된 합성 패치가 분할 네트워크의 훈련 데이터를 보강할 수 있는지 조사한다.
• 다양한 분할 아키텍처와 데이터셋에서 GAN 보강의 효과를 평가한다.
• 전통적 증강과의 상호 작용을 평가하고 이익을 얻기 위한 데이터 양의 임계치를 결정한다.

제안 방법

• 이미지 패치와 분할 라벨의 공동 분포를 모델링하기 위해 Progressive Growing GAN(PGGAN)을 사용한다.
• 데이터 매니폴드를 학습하기 위해 80k 패치를 이용해 GAN을 학습한다(실제 영상 + 라벨).
• GAN에서 합성 패치를 샘플링하고 80k개의 실제 패치를 보강하여 분할 네트워크 학습에 사용한다.
• CT CSF 및 MR WMH 작업에서 세 가지 분할 네트워크(UNet, UResNet, DeepMedic)로 평가한다.
• 실제 데이터의 양과 합성 데이터의 양을 달리하여 DSC에 미치는 영향을 연구한다.
• GAN 보강을 회전 증강 및 증강의 조합과 비교한다.

실험 결과

연구 질문

• RQ1 분할 네트워크 아키텍처가 GAN 보강의 이익에 영향을 미치는가?
• RQ2 GAN 보강은 회전 증강과 어떻게 비교되는가?
• RQ3 합성 데이터의 양이 성능에 어떤 영향을 미치는가?
• RQ4 사용 가능한 실제 데이터의 양이 GAN 보강의 이익에 어떤 영향을 미치는가?
• RQ5 GAN 보강은 다른 데이터셋과 모달리티(CT/MR)에서 일반화되는가?

주요 결과

• GAN 보강은 많은 경우에서 미미하지만 유의미한 DSC 향상을 가져온다.
• 실제 데이터가 가장 제한될 때 가장 큰 이득이 발생하며, MR의 경우 일부 시나리오에서 매우 낮은 데이터 가용성에서만 이점이 감소한다.
• CT 결과는 합성 데이터로 인한 성능 저하를 관찰하지 못했고, MR 결과는 너무 많은 합성 데이터가 성능을 살짝 악화시킬 수 있는 임계점을 보인다.
• GAN 보강과 전통적 증강을 함께 추가하면 각각보다 더 큰 이득을 얻을 수 있어 상보적 효과를 시사한다.
• GAN은 학습 세트와 다른 합성 이미지를 생성하되 임상적으로 그럴듯하게 남아 있어 원래 샘플을 넘어 분산의 보간을 가능하게 한다.