[논문 리뷰] Synthesizing Diverse Lung Nodules Wherever Massively: 3D Multi-Conditional GAN-based CT Image Augmentation for Object Detection

Changhee Han, Yoshiro Kitamura외 7명|arXiv (Cornell University)|2019. 01. 19.

Lung Cancer Diagnosis and Treatment참고 문헌 37인용 수 20

한 줄 요약

이 논문은 3D CT 영상 내에서 원하는 위치, 크기, 투과도 수준에 맞게 현실적이고 다양한 폐결절을 합성하여 3D 객체 검출을 위한 훈련 데이터를 보강하기 위해 3D 다중조건 GAN(MCGAN)을 제안한다. 두 개의 판별기—하나는 맥락적 현실성, 다른 하나는 크기/투과도 조건을 고려한 것—를 활용함으로써 MCGAN은 시각적 튜링 테스트에서 실제 결절과 구분되지 않을 정도로 현실적인 결절을 생성하며, 고정된 위양성 비율에서 모든 결절 크기 및 투과도 수준에서 검출 민감도를 크게 향상시킨다.

ABSTRACT

Accurate Computer-Assisted Diagnosis, relying on large-scale annotated pathological images, can alleviate the risk of overlooking the diagnosis. Unfortunately, in medical imaging, most available datasets are small/fragmented. To tackle this, as a Data Augmentation (DA) method, 3D conditional Generative Adversarial Networks (GANs) can synthesize desired realistic/diverse 3D images as additional training data. However, no 3D conditional GAN-based DA approach exists for general bounding box-based 3D object detection, while it can locate disease areas with physicians’ minimum annotation cost, unlike rigorous 3D segmentation. Moreover, since lesions vary in position/size/attenuation, further GAN-based DA performance requires multiple conditions. Therefore, we propose 3D Multi-Conditional GAN (MCGAN) to generate realistic/diverse 32 × 32×32 nodules placed naturally on lung Computed Tomography images to boost sensitivity in 3D object detection. Our MCGAN adopts two discriminators for conditioning: the context discriminator learns to classify real vs synthetic nodule/surrounding pairs with noise box-centered surroundings; the nodule discriminator attempts to classify real vs synthetic nodules with size/attenuation conditions. The results show that 3D Convolutional Neural Network-based detection can achieve higher sensitivity under any nodule size/attenuation at fixed False Positive rates and overcome the medical data paucity with the MCGAN-generated realistic nodules—even expert physicians fail to distinguish them from the real ones in Visual Turing Test.

연구 동기 및 목표

• 3D 객체 검출기의 강력한 훈련을 위한 대규모이고 다양한 3D 폐 CT 데이터셋의 부족 문제를 해결하기 위해.
• 위치, 크기, 투과도에 대해 정밀한 제어가 가능한 3D 조건부 GAN 프레임워크를 개발하기 위해.
• 위양성 비율을 증가시키지 않고도 모든 결절 특성에 걸쳐 3D CNN 기반의 결절 검출 민감도를 향상시키기 위해.
• 전문의와 t-SNE 시각화를 활용하여 생성된 결절의 현실성과 분포 충실도를 평가하기 위해.
• 의료 영상에서 GAN 기반 데이터 증강을 위한 최적의 데이터 증강 비율과 손실 함수를 규명하기 위해.

제안 방법

• MCGAN은 경계 상자 마스크, 크기, 투과도 값에 조건을 부여한 3D 생성기 네트워크를 사용하여 CT 볼륨 내에서 32×32×32 크기의 결절을 합성한다.
• 두 개의 판별기를 사용한다: 맥락 판별기는 실제와 합성된 결절 주변 조직 쌍을 평가하고, 결절 판별기는 크기 및 투과도 조건 하에서 실제와 합성된 결절을 분류한다.
• 생성기는 GAN 손실을 사용하여 두 판별기를 속이도록 적대적으로 훈련되며, 다양성을 유지하기 위해 ℓ1 복원 손실이 사용되지 않는다.
• 데이터 증강은 훈련 중에 실제 및 합성된 결절을 1:1 비율로 조합하여 분포에 미치는 영향을 균형 잡기 위해 적용된다.
• 실제성은 두 명의 전문의가 합성된 결절과 실제 결절을 평가하는 시각적 튜링 테스트를 통해 검증된다.
• t-SNE 시각화를 통해 실제 및 합성된 결절의 특징 분포를 비교하여 실제 데이터 다양체를 얼마나 잘 커버하는지 평가한다.

실험 결과

연구 질문

• RQ1 3D GAN은 전체 세그멘테이션 없이도 3D CT 영상에 원하는 위치, 크기, 투과도 수준에 맞게 자연스럽게 다양한 병적 구조(예: 결절)를 배치할 수 있는가?
• RQ2 3D 객체 검출에서 검출 성능을 최대화하기 위해 실제 데이터와 합성 데이터의 최적의 비율은 무엇인가?
• RQ3 다양한 손실 함수—특히 ℓ1 손실의 부재—는 생성된 결절의 현실성과 다양성, 그리고 후속 검출 성능에 어떤 영향을 미치는가?
• RQ4 전문 방사선의가 MCGAN이 생성한 합성 결절을 실제 결절과 어떻게 구분할 수 있는가?
• RQ5 t-SNE 분석을 통해 MCGAN이 생성한 합성 데이터는 실제 결절 분포의 이전에 표현되지 않은 영역을 효과적으로 커버하는가?

주요 결과

• MCGAN이 생성한 합성 결절은 전문의들이 수행한 시각적 튜링 테스트에서 79%의 정확도를 기록하여 실제 결절과 거의 구분되지 않음을 확인했다.
• 고정된 위양성 비율에서 모든 결절 크기 및 투과도 범주에서 검출 민감도가 향상되었으며, 특히 크기가 크거나 투과도가 낮은 결절에서 가장 높은 성과를 보였다.
• 실제 데이터 대비 합성 데이터 비율을 1:1로 설정한 훈련이 최적의 검출 성능을 냈으며, 과도한 합성 데이터 비율은 분포 불균형으로 인해 성능 저하를 초래했다.
• GAN 훈련 중 ℓ1 손실을 제거함으로써 다양성이 증가하여 검출 민감도가 향상되었으며, 픽셀 수준의 현실성은 略로 감소했다.
• t-SNE 시각화 결과, 특히 ℓ1 손실이 없는 조건에서 훈련된 합성 결절은 실제 결절과 중간 정도로 유사한 분포를 보였으며, 이전에 표현되지 않았던 데이터 다양체 영역을 커버했다.
• MCGAN은 주변 폐 조직이 명시적으로 세그멘테이션되지 않은 상태에서도 자연스럽게 주변 조직과 융합된 결절을 성공적으로 생성하여, 경계 상자 기반 검출을 위한 현실적인 증강을 가능하게 했다.