[논문 리뷰] Class-Aware Adversarial Lung Nodule Synthesis in CT Images

Jie Yang, Siqi Liu외 8명|arXiv (Cornell University)|2018. 12. 28.

Lung Cancer Diagnosis and Treatment참고 문헌 12인용 수 5

한 줄 요약

이 논문은 악성도 레이블과 형태 다양성이 제어 가능한 폐 결절을 CT 영상에 합성하는 클래스 인식 생성 적대적 네트워크(GAN) 프레임워크를 제안한다. 굵은 것에서 세밀한 것으로 진행되는 생성자와 이중 클래스 인식 판별자 구조를 통해, 훈련 데이터가 불균형한 상황에서 합성된 결절을 추가했을 때 악성도 분류 정확도(AUC)가 2% 향상된다.

ABSTRACT

Though large-scale datasets are essential for training deep learning systems, it is expensive to scale up the collection of medical imaging datasets. Synthesizing the objects of interests, such as lung nodules, in medical images based on the distribution of annotated datasets can be helpful for improving the supervised learning tasks, especially when the datasets are limited by size and class balance. In this paper, we propose the class-aware adversarial synthesis framework to synthesize lung nodules in CT images. The framework is built with a coarse-to-fine patch in-painter (generator) and two class-aware discriminators. By conditioning on the random latent variables and the target nodule labels, the trained networks are able to generate diverse nodules given the same context. By evaluating on the public LIDC-IDRI dataset, we demonstrate an example application of the proposed framework for improving the accuracy of the lung nodule malignancy estimation as a binary classification problem, which is important in the lung screening scenario. We show that combining the real image patches and the synthetic lung nodules in the training set can improve the mean AUC classification score across different network architectures by 2%.

연구 동기 및 목표

• CT 영상에서 폐 결절 분류에 있어 데이터 부족과 클래스 불균형 문제를 해결하기 위해.
• 특정 악성도 레이블과 형태적 특성을 가진 결절을 제어 가능한 방식으로 생성하는 방법을 개발하기 위해.
• 합성 데이터 증강을 통해 희귀한 악성 결절 분류에 대한 딥러닝 모델 성능을 향상시키기 위해.
• 불균형 데이터셋에서 합성된 결절이 모델의 일반화 능력과 내구성 향상에 기여하는지를 입증하기 위해.

제안 방법

• 두 단계 생성자 네트워크(G1 및 G2)가 문맥적 CT 특징과 무작위 노이즈를 사용해 마스킹된 폐 결절 영역을 굵은 것에서 세밀한 것으로 진행하여 인painting을 수행한다.
• 생성자는 마스킹된 영역와 전체 패치에 대한 복원 손실(L1)을 병합하여 구조적 정합성을 확보한다.
• 지역 및 전역 판별자 두 개를 사용하며, 각각 악성도 예측을 위한 보조 분류 헤드를 갖추어 지역적 현실성과 전반적 일관성을 강화한다.
• 프레임워크는 악성도 레이블과 결절 크기를 조건으로 하여 악성도와 형태를 제어할 수 있도록 설계된다.
• 실제 악성 패치와 잠재 노이즈를 조건으로 하여 합성된 결절을 생성한 후, 실제 데이터와 결합하여 훈련에 사용한다.
• 표준 훈련 프rotocol을 사용하여 3D CNN(ResNet 및 ResNeXt)을 활용해 LIDC-IDRI 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 GAN 기반 프레임워크는 악성도 레이블을 제어 가능한 방식으로 현실적인 CT 영상의 폐 결절을 생성할 수 있는가?
• RQ2 클래스 인식 합성은 불균형 데이터셋에서 악성도 분류 모델의 성능을 향상시키는가?
• RQ3 합성된 결절은 전통적인 데이터 증강 및 클래스 가중치 기법을 초월해 모델의 일반화 능력과 AUC를 향상시킬 수 있는가?
• RQ4 형태와 질감 측면에서 생성된 결절의 품질과 다양성은 실제 결절과 비교해 어떻게 되는가?

주요 결과

• 제안된 프레임워크는 특정 악성도 레이블과 다양한 형태를 가진 다양성 있는 폐 결절을 성공적으로 생성했으며, 정성적 결과에서 이를 확인할 수 있다.
• 실제 데이터만을 사용한 경우와 비교해, 합성된 결절을 훈련 세트에 추가했을 때 여러 3D CNN 아키텍처의 평균 AUC 점수가 2% 향상되었다.
• 합성 데이터로 미세조정한 ResNet-152 모델은 AUC 0.8812를 기록하여 베이스라인 및 가중 손실 모델을 모두 초월했다.
• 합성 데이터 증강 전략은 평가된 모든 아키텍처에서 일관되게 AUC를 향상시켰지만, 클래스 가중치 전략은 더 나은 성능을 내지 못했다.
• 보조 분류 헤드를 갖춘 이중 판별자 설계는 생성자에게 현실적이고 클래스 일관성이 있는 결절 생성을 효과적으로 이끌었다.
• 이 방법은 폐 결절 외의 다른 의료 영상 객체의 합성에도 일반화 잠재력을 보였다.