[논문 리뷰] CT-Realistic Lung Nodule Simulation from 3D Conditional Generative Adversarial Networks for Robust Lung Segmentation

Dakai Jin, Ziyue Xu외 3명|arXiv (Cornell University)|2018. 06. 11.

Lung Cancer Diagnosis and Treatment인용 수 24

한 줄 요약

이 논문은 주변 폐 조직을 조건으로 삼는 3D 조건부 생성 적대 신경망(CGAN)을 제안하며, 새로운 다중 마스크 복원 손실을 도입하여 현실적인 폐 결절을 생성함으로써 병적 폐 분할의 강건성을 향상시킨다. 이 방법은 난이도 높은 외측 결절에 대해 P-HNN 모델의 성능을 향상시켜 Dice 점수를 0.964에서 0.989로 높이고, 하우스도르프 거리를 2.4mm 감소시킨다.

ABSTRACT

Data availability plays a critical role for the performance of deep learning systems. This challenge is especially acute within the medical image domain, particularly when pathologies are involved, due to two factors: 1) limited number of cases, and 2) large variations in location, scale, and appearance. In this work, we investigate whether augmenting a dataset with artificially generated lung nodules can improve the robustness of the progressive holistically nested network (P-HNN) model for pathological lung segmentation of CT scans. To achieve this goal, we develop a 3D generative adversarial network (GAN) that effectively learns lung nodule property distributions in 3D space. In order to embed the nodules within their background context, we condition the GAN based on a volume of interest whose central part containing the nodule has been erased. To further improve realism and blending with the background, we propose a novel multi-mask reconstruction loss. We train our method on over 1000 nodules from the LIDC dataset. Qualitative results demonstrate the effectiveness of our method compared to the state-of-art. We then use our GAN to generate simulated training images where nodules lie on the lung border, which are cases where the published P-HNN model struggles. Qualitative and quantitative results demonstrate that armed with these simulated images, the P-HNN model learns to better segment lung regions under these challenging situations. As a result, our system provides a promising means to help overcome the data paucity that commonly afflicts medical imaging.

연구 동기 및 목표

• 의료 영상에서 데이터 부족 문제, 특히 외측 폐 결절과 같은 희귀하거나 복잡한 병적 사례에 대응하기 위해.
• 폐 경계에 닿아 있는 결절로 인해 어려움을 겪는 P-HNN 모델의 병적 폐 분할에 대한 강건성을 향상시키기 위해.
• 조건부 GAN을 사용하여 맥락을 고려한 고해상도의 자연스러운 결절을 생성하고 주변 조직과 자연스럽게 융합시키기 위해.
• GAN으로 생성된 데이터가 훈련을 보완하고 가장자리 케이스에서의 분할 성능을 향상시키는 데 효과적인지 평가하기 위해.

제안 방법

• 중앙 결절 영역을 삭제한 관심 영역(VOI)을 조건으로 삼아 3D 조건부 GAN을 훈련시켜 결절을 생성한다.
• 생성자는 주변 VOI의 맥락적 조직 특징을 기반으로 결절을 복원하기 위해 U-Net 유사 아키텍처를 사용한다.
• 새로운 다중 마스크 복원 손실을 도입하여 생성된 결절과 주변 조직 간의 현실적인 외관과 경계 일관성을 강제한다.
• 다양한 공간 해상도에서 복원을 안내하기 위해 다중 이진 마스크를 조합하여 경계 아티팩트를 줄인다.
• 적대적 손실과 다중 마스크 L1 손실을 사용하여 LIDC 데이터셋의 1,000개 이상의 결절을 기반으로 CGAN을 훈련시킨다.
• 전이 학습 전략을 사용하여 시뮬레이션된 결절을 생성하고, 특히 외측 결절에 대한 엣지 케이스에서 P-HNN 모델을 미세조정한다.

실험 결과

연구 질문

• RQ1 3D 조건부 GAN은 CT 영상에서 주변 폐 조직과 맥락적으로 일치하는 현실적인 폐 결절을 생성할 수 있는가?
• RQ2 다중 마스크 복원 손실을 통합함으로써 표준 L1 또는 적대적 손실 대비 생성된 결절의 현실성과 융합 품질이 향상되는가?
• RQ3 GAN으로 생성된 합성 결절은 P-HNN와 같은 분류 기반 분할 모델의 난이도 높은 외측 결절 케이스에서의 성능을 효과적으로 향상시킬 수 있는가?
• RQ4 합성 데이터의 품질은 병적 영상에서 폐 분할 모델의 일반화 능력과 강건성에 어떤 영향을 미치는가?

주요 결과

• 제안된 CGAN과 다중 마스크 손실은 자연스럽게 융합되고 경계 아티팩트가 최소화된 고품질의 현실적인 결절을 생성하며, L1 전용 및 Isola 등이 제안한 방법보다 우수한 성능을 보였다.
• CGAN으로 생성된 데이터로 P-HNN 모델을 미세조정함으로써 외측 결절에서의 평균 Dice 점수가 0.964에서 0.989로 향상되었다.
• 하우스도르프 거리는 2.4mm 감소하고 평균 표면 거리는 1.2mm 감소하여 경계 일치도 향상됨을 시사했다.
• 성능 향상은 가장 나쁜 케이스에서 가장 두드러졌으며, 엣지 케이스에 대한 강건성이 향상되었음을 입증했다.
• 맥락적으로 정확하고 다양한 합성 결절을 생성함으로써 의료 영상에서의 데이터 부족 문제를 효과적으로 해결했다.
• 시각적 결과는 CGAN 데이터로 미세조정된 P-HNN 모델이 외측 결절에서 더 정확하고 해부학적으로 타당한 분할 마스크를 생성함을 확인했다.