[논문 리뷰] Infinite Brain MR Images: PGGAN-based Data Augmentation for Tumor Detection

Changhee Han, Leonardo Rundo외 5명|arXiv (Cornell University)|2019. 03. 29.

Brain Tumor Detection and Classification인용 수 5

한 줄 요약

이 논문은 뇌 종양 탐지 성능 향상을 위해 고해상도(256×256) 합성 대조 강화 T1 강화 뇌 MRI 영상을 생성하기 위한 PGGAN 기반 데이터 증강 방법을 제안한다. 渐진적 성장 훈련을 활용함으로써, 실제 데이터의 분포 격차를 메우는 현실적이고 다양한 이미지를 생성하며, 기존의 전통적 데이터 증강 기법과 조합할 경우 종양 탐지 정확도가 1.02% 향상된다.

ABSTRACT

Due to the lack of available annotated medical images, accurate computer-assisted diagnosis requires intensive Data Augmentation (DA) techniques, such as geometric/intensity transformations of original images; however, those transformed images intrinsically have a similar distribution to the original ones, leading to limited performance improvement. To fill the data lack in the real image distribution, we synthesize brain contrast-enhanced Magnetic Resonance (MR) images---realistic but completely different from the original ones---using Generative Adversarial Networks (GANs). This study exploits Progressive Growing of GANs (PGGANs), a multi-stage generative training method, to generate original-sized 256 X 256 MR images for Convolutional Neural Network-based brain tumor detection, which is challenging via conventional GANs; difficulties arise due to unstable GAN training with high resolution and a variety of tumors in size, location, shape, and contrast. Our preliminary results show that this novel PGGAN-based DA method can achieve promising performance improvement, when combined with classical DA, in tumor detection and also in other medical imaging tasks.

연구 동기 및 목표

• 뇌 종양 탐지에서 레이블이 부여된 의료 영상 데이터의 부족 문제를 해결하기 위해 현실적인 합성 MRI 영상을 생성하기 위해.
• 기존의 전통적 데이터 증강 기법은 원본 이미지와 유사한 분포를 가진 샘플을 생성하여 성능 향상이 제한적인 점을 극복하기 위해.
• GAN을 활용하여 고해상도(256×256), 현실적이며 다양한 뇌 MRI 영상(종양 및 비종양 특징이 뚜렷함)을 생성할 수 있는 방법을 개발하기 위해.
• 실증적 평가와 전문의 평가를 통해 PGGAN으로 생성된 이미지가 CNN 기반 종양 탐지 성능 향상에 기여하는지 검증하기 위해.
• 시각적 튜링 테스트와 t-SNE 시각화를 통해 합성 이미지의 현실성과 진단 적합성 탐색하기 위해.

제안 방법

• PGGAN(진행적 성장 GAN)을 활용하여 4×4에서 256×256 해상도로 점진적으로 증가하는 이미지 생성을 위한 생성자 네트워크를 훈련함으로써 고해상도 뇌 MRI 영상 훈련의 안정성을 확보한다.
• 실제 대조 강화 T1 강화 뇌 MRI 영상 데이터셋을 기반으로 GAN을 훈련하며, 생성자는 실제 영상 분포와 일치하는 현실적인 이미지를 학습하여 생성한다.
• 각 해상도 단계에서 실제 영상과 합성 영상을 구분할 수 있도록 이중 스트림 디스criminator 아키텍처를 도입하여 훈련 안정성과 영상 품질을 향상시킨다.
• PGGAN로 생성된 합성 영상과 기존의 전통적 데이터 증강 기법(기하학적 및 강도 변형)을 조합하여 훈련 세트를 확장하고 모델의 일반화 능력을 향상시킨다.
• 전문 방사선의가 수행한 시각적 튜링 테스트를 통해 이미지의 현실성과 종양 특징의 유지 여부를 평가하여 실제 영상과 합성 영상, 종양 영상과 비종양 영상을 식별할 수 있는 능력을 점검한다.
• t-SNE 시각화를 활용하여 실제 영상, 증강된 영상, 합성 영상의 특징 공간 분포를 분석하고, 클래스 간 분리도와 분포 일치도를 평가한다.

실험 결과

연구 질문

• RQ1 PGGAN는 고해상도(256×256) 뇌 MRI 영상에서 현실적이며 종양 및 비종양 특징이 뚜렷한 영상을 생성할 수 있는가?
• RQ2 기존의 전통적 증강 기법에 비해 PGGAN 기반 데이터 증강은 CNN 기반 뇌 종양 탐지 모델의 성능 향상에 기여하는가?
• RQ3 전문 방사선의가 수행한 시각적 튜링 테스트를 통해 합성 영상은 실제 의료 영상만큼 현실적인가?
• RQ4 합성 영상은 원본 또는 전통적 증강 데이터로 커버되지 않은 실제 영상 분포의 격차를 어느 정도 메울 수 있는가?
• RQ5 이미지의 현실성과 특징 유지도가 종양 탐지 모델의 일반화 능력과 내구성에 어떤 영향을 미치는가?

주요 결과

• PGGAN 기반 데이터 증강 방법은 기존의 전통적 증강 기법과 조합했을 때 뇌 종양 탐지 테스트 정확도가 1.02% 향상되었다.
• 단독으로 사용할 경우 PGGAN로 생성된 영상은 성능이 저하되었으며(특이도 6.84%로 감소), 분류기가 합성 아티팩트를 종양으로 오인함으로써 실용성 부족이 드러났다.
• 의사가 시각적 튜링 테스트에서 종양 및 비종양 영상의 90.5%를 정확히 분류하여 합성 영상이 종양 존재 여부 및 조직 대비와 같은 핵심 진단 특징을 효과적으로 유지하고 있음을 시사한다.
• 의사는 18%의 종양 영상(중 13%는 합성 종양 영상)을 비종양 영상으로 잘못 분류했으며, 이는 합성 영상에 아직 모호하거나 현실성이 떨어지는 특징이 존재하여 진단 신뢰도에 영향을 미칠 수 있음을 시사한다.
• t-SNE 시각화 결과, PGGAN로 생성된 영상은 실제 영상과 별개의 군집을 형성하며 종양 및 비종양 클래스 간 오버랩이 높아 분류 경계가 명확하지 않으며 분포 이탈이 발생함을 나타낸다.
• 실현성에 한계가 있음에도 불구하고, PGGAN로 생성된 영상과 전통적 증강 기법의 조합은 이전에 커버되지 않았던 실제 영상 분포 영역을 커버함으로써 모델의 일반화 능력을 향상시켰다.