[논문 리뷰] Learning More with Less: Conditional PGGAN-based Data Augmentation for Brain Metastases Detection Using Highly-Rough Annotation on MR Images

Changhee Han, Kohei Murao외 6명|arXiv (Cornell University)|2019. 02. 26.

AI in cancer detection참고 문헌 37인용 수 80

한 줄 요약

이 논문은 조건부 점진적 성장 GAN(이하 CPGGAN)을 제안하며, 매우 근본적인 경계 상자(annotation)만으로도 원하는 위치와 크기의 종양이 있는 실제적인 256×256 뇌 MRI 영상을 생성하는 새로운 데이터 증강 방법이다. 이 방법은 PGGAN을 점진적으로 근본적인 레이블로 조건화하여 종양 검출 민감도를 10% 향상시키며, 임상적으로 수용 가능한 수준의 임의의 양성 결과를 유도한다. 이는 정상 뇌 영상 추가 자료 없이도 학습이 가능하다는 점에서 놀라운 성과이다.

ABSTRACT

Accurate Computer-Assisted Diagnosis, associated with proper data wrangling, can alleviate the risk of overlooking the diagnosis in a clinical environment. Towards this, as a Data Augmentation (DA) technique, Generative Adversarial Networks (GANs) can synthesize additional training data to handle the small/fragmented medical imaging datasets collected from various scanners; those images are realistic but completely different from the original ones, filling the data lack in the real image distribution. However, we cannot easily use them to locate disease areas, considering expert physicians' expensive annotation cost. Therefore, this paper proposes Conditional Progressive Growing of GANs (CPGGANs), incorporating highly-rough bounding box conditions incrementally into PGGANs to place brain metastases at desired positions/sizes on 256 X 256 Magnetic Resonance (MR) images, for Convolutional Neural Network-based tumor detection; this first GAN-based medical DA using automatic bounding box annotation improves the training robustness. The results show that CPGGAN-based DA can boost 10% sensitivity in diagnosis with clinically acceptable additional False Positives. Surprisingly, further tumor realism, achieved with additional normal brain MR images for CPGGAN training, does not contribute to detection performance, while even three physicians cannot accurately distinguish them from the real ones in Visual Turing Test.

연구 동기 및 목표

• 뇌 전이성 종양 검출 분야에서 흩어져 있고, 흐릿하고 일관성 없는 표준화가 이루어진 의료 영상 데이터셋의 한계를 해결하기 위해.
• 정확한 세분화나 양성 영상 입력이 필요 없이 실제적이고 다양한 병적 MRI 영상을 생성하는 데이터 증강 방법을 개발하기 위해.
• 전문가의 표준화 부담을 최소화하면서도 근본적인 경계 상자 표준화만으로도 고민감도 종양 검출을 가능하게 하기 위해.
• 합성 영상에서 종양의 현실성 향상 여부가 후속 검출 성능에 영향을 미치는지 평가하기 위해.

제안 방법

• CPGGAN은 PGGAN을 확장하여, 학습 중에 근본적인 경계 상자 조건을 점진적으로 생성자에 통합함으로써 종양의 위치와 크기를 제어한다.
• 이 방법은 전체 세분화 지도가 아닌 경계 상자 마스크에 기반하여 GAN을 조건화함으로써 원하는 위치에 종양이 있는 전체 뇌 MRI 영상을 생성할 수 있다.
• 조건부 노이즈 주입을 통해 종양의 형태와 외관에 다양성을 도입하면서도 해부학적 타당성을 유지한다.
• 생성자는 전문 방사선의사들이 실물과 구분이 가지 않는 시각적 테스트를 통과할 수 있도록 256×256 MRI 영상과 함께 종양이 포함된 영상을 생성하도록 훈련된다.
• T-SNE 시각화를 통해 실제 종양 패치와 합성 종양 패치의 분포를 비교하여 데이터의 다양성과 분포 일치 정도를 평가한다.
• 객체 검출기로 YOLOv3를 사용하며, 실제 영상과 합성 영상의 조합을 훈련 데이터로 활용하여 검출 성능을 평가한다.

실험 결과

연구 질문

• RQ1 PGGAN는 어떻게 수정되어야 하며, 근본적인 경계 상자 마스크만으로도 임의의 형태의 종양을 원하는 위치와 크기로 자연스럽게 배치할 수 있는가?
• RQ2 근본적인 표준화로 이루어진 GAN 기반 데이터 증강이 과도한 임의의 양성 결과 없이 검출 민감도 향상에 기여할 수 있는가?
• RQ3 전문가가 평가한 합성 종양의 현실성 향상은 검출 성능 향상에 기여하는가?
• RQ4 CPGGAN 학습 시 추가적인 정상 뇌 MRI 영상을 포함할 경우, 현실성과 검출 성능에 어떤 영향을 미치는가?

주요 결과

• CPGGAN 기반 데이터 증강은 실물 데이터로만 훈련된 기준 모델 대비 종양 검출 민감도를 10% 향상시켰다.
• 이 방법은 임상적으로 수용 가능한 수준의 임의의 양성 결과 증가를 동반하여 임상 현장에서 실용적인 유용성을 입증했다.
• 추가적인 정상 뇌 영상으로 학습시킨 경우 종양 외관의 현실성이 더 높아졌지만, 검출 성능 향상은 더 이상 이루어지지 않았으며, 이는 현실성 자체가 검출 성능 향상에 기여하지 않는다는 것을 시사한다.
• 정상 뇌 영상으로 학습한 CPGGAN은 전문 방사선의사 3명이 시각적 터링 테스트에서 합성 종양 경계 상자를 실제 종양과 구분하지 못할 정도로 높은 현실성을 확보했다.
• T-SNE 시각화 결과, 합성 종양 패치는 실제 종양 패치와 중간 정도로 유사하고 상호 보완적인 분포를 보였으며, 효과적인 데이터 증강을 뒷받침했다.
• 합성 데이터에 과도하게 의존할 경우 성능 저하가 발생했으며, 이는 실물 데이터와 합성 데이터 사이의 최적 균형이 강건한 훈련을 위해 필수적임을 시사한다.