[논문 리뷰] A Two Stage GAN for High Resolution Retinal Image Generation and Segmentation

Paolo Andreini, Simone Bonechi외 4명|arXiv (Cornell University)|2019. 07. 29.

Retinal Imaging and Analysis인용 수 5

한 줄 요약

이 논문은 소수의 실제 훈련 샘플만을 사용하여 고해상도 망막 이미지와 그에 해당하는 의미적 혈관 레이블맵을 생성하기 위한 이단계 GAN 프레임워크를 제안한다. 먼저, 점진적으로 성장하는 GAN(PGGAN)이 현실적인 혈관 마스크를 합성하고, 그 다음 이미지 간 번역 모델이 이러한 마스크를 사진처럼 사실적인 망막 이미지로 변환한다. 생성된 데이터를 통해 상태최고 수준의 망막 혈관 세분화 성능을 달성하였으며, 실제 데이터로의 미세조정을 거친 후 DRIVE 및 CHASE_DB1 벤치마크에서 기존 방법들을 능가하는 성능을 보였다.

ABSTRACT

In recent years, the use of deep learning is becoming increasingly popular in computer vision. However, the effective training of deep architectures usually relies on huge sets of annotated data. This is critical in the medical field where it is difficult and expensive to obtain annotated images. In this paper, we use Generative Adversarial Networks (GANs) for synthesizing high quality retinal images, along with the corresponding semantic label-maps, to be used instead of real images during the training process. Differently from other previous proposals, we suggest a two step approach: first, a progressively growing GAN is trained to generate the semantic label-maps, which describe the blood vessel structure (i.e. vasculature); second, an image-to-image translation approach is used to obtain realistic retinal images from the generated vasculature. By using only a handful of training samples, our approach generates realistic high resolution images, that can be effectively used to enlarge small available datasets. Comparable results have been obtained employing the generated images in place of real data during training. The practical viability of the proposed approach has been demonstrated by applying it on two well established benchmark sets for retinal vessel segmentation, both containing a very small number of training samples. Our method obtained better performances with respect to state-of-the-art techniques.

연구 동기 및 목표

• 의료 딥러닝 분야에서 애너테이션된 망막 이미지 데이터셋이 부족한 데 대한 핵심 과제를 해결한다.
• 정확한 의미적 애너테이션을 갖춘 고해상도이고 현실적인 의료 영상 생성의 어려움을 극복한다.
• 다양하고 고품질의 망막 이미지와 해당 혈관 세분화 마스크를 합성하기 위한 자원 효율적인 방법을 개발한다.
• 합성 데이터가 깊이 신경망 기반의 망막 혈관 세분화 성능을 효과적으로 향상시킬 수 있음을 입증한다.
• 소수의 실제 이미지만을 사용하여 합성 데이터 증강을 활용해 최첨단의 혈관 세분화 결과를 달성한다.

제안 방법

• 소수의 실제 망막 레이블맵에 대해 훈련된 점진적으로 성장하는 GAN(PGGAN)이 고해상도 의미적 혈관 마스크를 생성한다.
• 생성된 레이블맵을 조건부 이미지 간 번역 네트워크(Pix2Pix 또는 유사 모델 등)의 입력으로 사용하여 현실적인 망막 이미지를 합성한다.
• 이중단계 설계는 의미적 구조 생성과 시각적 현실성의 분리를 통해 GPU 메모리 요구량을 줄이고 훈련 안정성을 향상시킨다.
• 프레임워크는 데이터 증강을 위해 DRIVE 및 CHASE_DB1 각각에 대해 10,000개의 합성 이미지-레이블 쌍을 생성한다.
• 세 가지 프로토콜(합성 데이터 전용, 실제 데이터 전용, 합성 데이터 사전 훈련 + 실제 데이터 미세조정)을 사용해 세분화 다중스케일 주의망(SMANet)을 훈련시킨다.
• 이 방법은 효과적인 전이 학습을 가능하게 하여, 사전 훈련 단계에서 합성 데이터를 통해 일반화 능력을 향상시키고, 이후 실제 데이터로의 미세조정을 수행한다.

실험 결과

연구 질문

• RQ1 소수의 실제 훈련 샘플만으로도 이단계 GAN 파이프라인을 통해 고해상도이고 현실적인 망막 이미지와 정확한 의미적 혈관 레이블맵을 생성할 수 있는가?
• RQ2 이 방법으로 생성된 합성 데이터가 딥러닝 기반 망막 혈관 세분화 성능을 효과적으로 향상시키는가?
• RQ3 합성 데이터로 사전 훈련한 후 실제 데이터로 미세조정하는 것이 실제 데이터 전용 훈련보다 저자원 환경에서 성능을 높이는가?
• RQ4 기본 벤치마크인 맹막 혈관 세분화 데이터셋에서 제안된 방법의 성능은 최첨단 기술과 비교해 어떻게 되는가?
• RQ5 의미적 구조와 시각적 외관 생성을 분리함으로써 영상 품질과 훈련 효율성이 어느 정도 향상되는가?

주요 결과

• SMANet를 합성 데이터로 훈련시켰을 때 DRIVE 데이터셋에서 AUC 98.65%와 정확도 96.90%를 기록하여 실제 데이터 전용 훈련 성능과 동일한 성능을 달성하였다.
• CHASE_DB1 데이터셋에서는 AUC 99.16%와 정확도 97.72%를 기록하여 이 벤치마크에서 이전에 보고된 모든 결과를 초월하였다.
• 실제 데이터 전용 훈련 대비 합성 데이터 사전 훈련 후 실제 데이터로의 미세조정을 통해 DRIVE에서 AUC 0.17 향상, CHASE_DB1에서 AUC 0.34 향상되었다.
• 합성 데이터 전용으로 훈련된 SMANet는 실제 데이터 훈련과 비교해 유사한 성능을 보였으며, 이는 합성 이미지가 근본적인 데이터 분포를 효과적으로 반영하고 있음을 시사한다.
• 이중단계 접근법은 종단 간 GAN 훈련 대비 GPU 메모리 요구량을 감소시켜 자원이 제한된 환경에서도 고해상도 생성을 가능하게 하였다.
• 이 프레임워크는 일반화 가능하며 망막 영상에 국한되지 않으며, 다른 의료 영상 분야에의 적용 잠재력을 지닌다.