[논문 리뷰] High-Resolution Mammogram Synthesis using Progressive Generative Adversarial Networks

Dimitrios Korkinof, Tobias Rijken외 4명|arXiv (Cornell University)|2018. 07. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 41

한 줄 요약

본 논문은 점진적으로 학습되는 GAN을 통해 고해상도 합성 전체필드 디지털 유방촬영물(FFDMs)을 생성하고, 최대 1280x1024 픽셀에 도달하며 의료 영상 합성의 학습 안정성을 다룬다.

ABSTRACT

The ability to generate synthetic medical images is useful for data augmentation, domain transfer, and out-of-distribution detection. However, generating realistic, high-resolution medical images is challenging, particularly for Full Field Digital Mammograms (FFDM), due to the textural heterogeneity, fine structural details and specific tissue properties. In this paper, we explore the use of progressively trained generative adversarial networks (GANs) to synthesize mammograms, overcoming the underlying instabilities when training such adversarial models. This work is the first to show that generation of realistic synthetic medical images is feasible at up to 1280x1024 pixels, the highest resolution achieved for medical image synthesis, enabling visualizations within standard mammographic hanging protocols. We hope this work can serve as a useful guide and facilitate further research on GANs in the medical imaging domain.

연구 동기 및 목표

• 점진적으로 학습되는 GAN을 사용하여 현실적이고 고해상도 유방촬영물을 생성하는 가능성을 보여준다.
• 고해상도 의학 영상 합성의 학습 안정성 향상.
• FFDM 생성을 위한 데이터 전처리, 학습 전략 및 평가에 대한 지침을 제공한다.

제안 방법

• 훈련 중 이미지 해상도를 점차 증가시키기 위해 GAN의 점진적 확장을 채택한다.
• 학습 안정화를 위해 gradient penalty가 있는 Wasserstein GAN을 사용한다.
• 생성기를 유방촬영물 뷰(CC vs MLO)에 조건화하여 현실감을 향상시킨다.
• 해당 데이터를 1280x1024에 맞추고 hanging protocol의 보존을 위한 전처리를 수행한다.
• 학습 데이터 크기를 150k에서 450k 이미지로 증가시키고 학습률 및 판별자 업데이트를 조정하여 안정성을 높인다.
• Sliced Wasserstein distance와 정성적 아티팩트 분석과 같은 지표를 사용하여 결과를 평가한다.

실험 결과

연구 질문

• RQ1 점진적으로 학습된 GAN이 임상 시각화를 위해 적합한 현실적이고 고해상도인 FFDM을 생성할 수 있는가?
• RQ2 의료 영상에서 매우 높은 해상도에서 GAN 최적화를 안정화시키는 학습 전략은 무엇인가?
• RQ3 유방촬영 뷰(CC와 MLO)에 대한 조건화가 생성된 CC 및 MLO 뷰의 현실성에 어떻게 영향을 미치는가?

주요 결과

• 생성된 FFDM은 1280x1024 픽셀에 도달하며, 본 논문에서 보고된 의료 영상 합성 중 최고 해상도이다.
• 합성 이미지는 높아진 이미지 간 변이성과 현실감을 나타내며 식별 가능한 인공물과 일부 시야별 도전 과제가 있다.
• MLO 뷰는 해부학적 변이가 더 커서 모델링이 더 어렵다.
• 크기가 커지는 전이 및 임플란트 재현과 같은 인공물이 발생하지만 학습 조정으로 완화될 수 있다.
• 학습 데이터 증가 및 뷰에 대한 조건화가 생성의 안정성 및 현실감을 향상시킨다.
• 다중 GPU 인프라(8× V100)에서의 학습은 연장된 학습 시간 내에 목표 해상도에 도달할 수 있다.