[논문 리뷰] Towards generative adversarial networks as a new paradigm for radiology education

Samuel G. Finlayson, Hyunkwang Lee외 2명|arXiv (Cornell University)|2018. 12. 01.

AI in cancer detection인용 수 6

한 줄 요약

이 논문은 골절 상태에 따라 조건화된 생성 적대 신경망(cGAN)을 사용하여 고해상도(1024×1024) 골반 단층촬영 영상을 합성함으로써, 필요에 따라 다양하고 레이블이 부여된 영상 데이터를 생성하는 방법을 제안한다. cGAN은 진단에 관련된 특징을 성공적으로 학습하였으며, 이는 실제 테스트 영상에서 분류기의 AUC가 0.95를 초과하여 나타나, 방사선학 교육 분야에서 큰 잠재력을 지닌다.

ABSTRACT

Medical students and radiology trainees typically view thousands of images in order to train their eye to detect the subtle visual patterns necessary for diagnosis. Nevertheless, infrastructural and legal constraints often make it difficult to access and quickly query an abundance of images with a user-specified feature set. In this paper, we use a conditional generative adversarial network (GAN) to synthesize $1024 imes1024$ pixel pelvic radiographs that can be queried with conditioning on fracture status. We demonstrate that the conditional GAN learns features that distinguish fractures from non-fractures by training a convolutional neural network exclusively on images sampled from the GAN and achieving an AUC of $>0.95$ on a held-out set of real images. We conduct additional analysis of the images sampled from the GAN and describe ongoing work to validate educational efficacy.

연구 동기 및 목표

• 의료 교육을 위한 대규모, 다양한, 질의 기반의 방사선 영상 데이터셋에 접근하기 어려운 문제를 해결하기 위해.
• 실제 방사선 영상의 가용성과 검색 가능성을 제한하는 인프라 및 법적 장벽을 극복하기 위해.
• 골절 상태 등 제어된 레이블을 가진 현실적인 고해상도 골반 단층촬영 영상을 생성하는 데이터 합성 프레임워크를 개발하기 위해.
• GAN을 통해 생성된 데이터 파이프라인에서 학습된 특징이 후행 모델에서 강력한 진단 패턴 인식을 지원하는지 평가하기 위해.

제안 방법

• 골절 상태(골절 또는 비골절)에 따라 조건화된 1024×1024 골반 단층촬영 영상을 생성하기 위해 조건부 생성 적대 신경망(cGAN)을 훈련한다.
• 생성된 영상가 조건(골절 또는 비골절)과 일치하도록 보장하기 위해 조건부 판별자를 사용하여 특징의 정밀도를 향상시킨다.
• 후행 모델 훈련을 위해 훈련된 cGAN에서 수많은 합성 영상을 샘플링한다.
• 별도의 합성곱 신경망(CNN)을 사용하여 GAN에 의해 생성된 영상 전용으로 골절 상태를 분류한다.
• 일반화 능력과 진단적 관련성을 평가하기 위해, 훈련된 CNN을 별도의 실제 골반 단층촬영 영상 세트에 대해 평가한다.
• 생성된 영상의 현실성과 특징 일관성을 평가하기 위해 정성적 및 정량적 분석을 수행한다.

실험 결과

연구 질문

• RQ1 조건부 GAN은 골절과 비골절을 구분하는 진단적으로 관련된 특징을 잘 포착한 골반 단층촬영 영상을 생성할 수 있는가?
• RQ2 GAN에 의해 생성된 영상에서 학습된 특징이 실제 영상에서의 새로운 이미지에 대해 얼마나 높은 수준의 진단 성능으로 전이되는가?
• RQ3 실제 레이블이 부여된 데이터에 의존하지 않고도 생성된 데이터가 진단 분류기의 효과적인 훈련을 지원할 수 있는가?
• RQ4 GAN에 의해 생성된 영상의 시각적 및 구조적 특징은 실제 골반 단층촬영 영상과 비교해 진단적으로 타당한가?

주요 결과

• 조건부 GAN은 시각적으로 타당하고 해부학적 일관성을 보이는 고해상도(1024×1024) 골반 단층촬영 영상을 성공적으로 생성하였다.
• GAN에 의해 생성된 영상 전용으로 훈련된 분류기가 별도의 실제 골반 단층촬영 영상 세트에서 ROC 곡선 아래 면적(AUC)이 0.95를 초과하였다.
• 높은 AUC는 GAN이 표면적인 영상 패atters가 아니라 골절 상태와 관련된 진단적 특징을 학습했다는 것을 시사한다.
• 생성된 영상의 정성적 분석을 통해 현실적인 골절 형태와 해부학적 구조가 확인되어 교육적 활용 가능성을 뒷받침한다.
• 결과적으로 GAN에 의해 생성된 데이터는 방사선학에서 진단 패턴 인식 훈련을 위한 실질적인 대안이 될 수 있음을 시사한다.
• 현재 진행 중인 연구는 이러한 합성 영상의 교육적 효과를 실제 교육 환경에서 검증하는 데 집중하고 있다.