[논문 리뷰] Deep Generative Adversarial Neural Networks for Realistic Prostate Lesion MRI Synthesis

Andy Kitchen, Jarrel Seah|arXiv (Cornell University)|2017. 08. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 5인용 수 11

한 줄 요약

이 논문은 SPIE ProstateX 챌린지 2016 데이터셋에서 유 realistic하고 다중 모odal한 전립선 병변 MRI 패치를 합성하기 위해 딥 컨volution 제너레이티브 적대적 네트워크(DCGAN)를 제안한다. 330개의 T2, ADC, Ktrans加성 MRI 패치를 기반으로 훈련한 모델은 질감, 대trast, 모달리티 일관성 측면에서 실제 데이터와 유사한 일관성 있고 다양한 해부학적으로 타당한 병변 영상을 생성하며, 부드러운 잠재 공간을 통해 병변 형태 간에 의미 있는 보간을 가능하게 한다.

ABSTRACT

Generative Adversarial Neural Networks (GANs) are applied to the synthetic generation of prostate lesion MRI images. GANs have been applied to a variety of natural images, is shown show that the same techniques can be used in the medical domain to create realistic looking synthetic lesion images. 16mm x 16mm patches are extracted from 330 MRI scans from the SPIE ProstateX Challenge 2016 and used to train a Deep Convolutional Generative Adversarial Neural Network (DCGAN) utilizing cutting edge techniques. Synthetic outputs are compared to real images and the implicit latent representations induced by the GAN are explored. Training techniques and successful neural network architectures are explained in detail.

연구 동기 및 목표

• 딥 제너레이티브 모델을 사용하여 현실적이고 다양하며 해부학적으로 타당한 전립선 병변 MRI 영상을 생성하기.
• GAN을 의료 영상에 적용할 수 있는 가능성, 특히 익명화된 데이터 합성 및 데이터 증강을 위해 탐색하기.
• 통합된 제너레이티브 프레임워크 내에서 T2, ADC, Ktrans 등의 다양한 모달리티에서의 합성 MRI 패치 품질 평가하기.
• 제너레이터가 학습한 암묵적 잠재 표현이 전립선 병변 형태에 대해 어떻게 반영되는지 조사하기.
• GAN이 제한된 훈련 데이터로도 고해상도 합성 의료 영상을 생성할 수 있음을 입증하기.

제안 방법

• 16mm × 16mm 크기의 패치를 330개의 전립선 MRI 스캔에서 추출하여, T2, ADC, Ktrans 세 가지 정렬된 모달리티를 기반으로 딥 컨volution 제너레이티브 적대적 네트워크(DCGAN)를 훈련한다.
• 제너레이터는 임의의 노이즈 벡터를 3채널 영상 출력으로 업샘플링하기 위해 역전치 컨볼루션, Leaky ReLU 활성화 함수 및 배치 정규화를 사용한다.
• 판별기(Discriminator)는 스트라이드 컨볼루션, 전역 평균 풀링, 드롭아웃, 가우시안 노이즈 주입을 통해 실재 대 가짜 영상 분류를 수행하며, 개선된 기울기 흐름을 확보한다.
• 모델은 최소 최대 손실 목적함수를 사용한다: 제너레이터는 판별기가 출력을 가짜로 판단할 확신을 최소화하도록 훈련되며, 판별기는 실재 및 가짜 영상을 정확히 식별하도록 훈련된다.
• 훈련 과정에서는 15,000회 반복 동안 배치 크기가 200인 상태에서 제너레이터와 판별기의 파rameter를 번갈아 업데이트하는 레이프러그 Adam 최적화 전략을 적용한다.
• 모든 입력 모달리티는 [0,1] 범위로 정규화되며, 제너레이터는 동시에 세 가지 MRI 대비를 생성하여 생성 출력의 모달리티 일관성을 보장한다.

실험 결과

연구 질문

• RQ1 GAN 기반 모델이 실재 데이터와 시각적으로 구분되지 않는 현실적이고 다중 모달 전립선 병변 MRI 패치를 생성할 수 있는가?
• RQ2 제너레이터의 암묵적 잠재 공간이 전립선 병변 형태의 의미 있는 변동성을 얼마나 잘 반영하는가?
• RQ3 제한된 실재 데이터로 훈련된 제너레이터가 일관성 있고 해부학적으로 타당한 다중 대비 MRI 출력을 생성할 수 있는가?
• RQ4 의료 영상 도메인에서 안정적인 GAN 훈련을 위해 필수적인 훈련 기법과 아키텍처 선택은 무엇인가?
• RQ5 이 모델이 생성한 합성 MRI 데이터가 의료 연구에서 데이터 증강 또는 익명화된 데이터 공유를 얼마나 지원할 수 있는가?

주요 결과

• GAN은 T2, ADC, Ktrans 모달리티 전반에서 질감, 대비, 구조적 세부 정보 측면에서 실재 병변과 유사한 시각적으로 현실적인 합성 MRI 패치를 성공적으로 생성한다.
• 모델은 일관성 있는 다중 모달 출력을 생성한다: 높은 Ktrans 영역는 항상 어두운 ADC 영역와 짝을 이루며, 실제 생물학적 관계를 반영한다.
• 잠재 공간(Z) 내 선형 보간은 서로 다른 병변 형태 간에 매끄럽고 타당한 전이를 유도하며, 잘 정렬되고 의미 있는 잠재 표현을 나타낸다.
• 훈련 중 판별기는 실재 대 가짜 영상을 높은 확신으로 구분할 수 있었지만, 제너레이터는 점점 더 가짜로 식별하기 어려운 샘플을 생성하는 데에 성공했다.
• 단지 330개의 훈련 스캔만을 사용했음에도 불구하고, 모델은 다양하고 고해상도의 출력을 생성하여 제한된 데이터로부터 강력한 일반화 능력을 보였다.
• 판별기에서 배치 정규화, Leaky ReLU, 드롭아웃, 가우시안 노이즈 주입의 사용은 훈련 안정성과 샘플 품질을 크게 향상시켰다.