[논문 리뷰] Generating Fundus Fluorescence Angiography Images from Structure Fundus Images Using Generative Adversarial Networks

Wanyue Li, Wen Kong외 5명|arXiv (Cornell University)|2020. 01. 29.

Retinal Imaging and Analysis인용 수 2

한 줄 요약

이 논문은 구조적 안저 영상에서 합성 혈관조영 영상(FA)으로의 변환을 가능하게 하는 조건부 생성 적대 신경망(cGAN)을 제안한다. 이는 위험 없는 혈관 시각화를 가능하게 한다. 국소적 중요도 지도를 새로운 중요도 손실에 통합함으로써, 작은 혈관과 유출 부위의 재구성 정확도가 향상되어 침습적 FA 영상의 더 안전한 대안을 제공한다.

ABSTRACT

Fluorescein angiography can provide a map of retinal vascular structure and function, which is commonly used in ophthalmology diagnosis, however, this imaging modality may pose risks of harm to the patients. To help physicians reduce the potential risks of diagnosis, an image translation method is adopted. In this work, we proposed a conditional generative adversarial network(GAN) - based method to directly learn the mapping relationship between structure fundus images and fundus fluorescence angiography images. Moreover, local saliency maps, which define each pixel's importance, are used to define a novel saliency loss in the GAN cost function. This facilitates more accurate learning of small-vessel and fluorescein leakage features.

연구 동기 및 목표

• 침습적 혈관조영 영상(FA)과 관련된 환자 위험을 줄이기 위해 비침습적 구조적 안저 영상에서 합성 FA 영상을 생성하는 것.
• 딥 러닝을 사용하여 합성 FA 영상에서 미세한 혈관 및 유출 특징을 유지하는 데 도전하는 것.
• 픽셀 수준의 중요도를 강조하는 중요도 인식 손실 함수를 도입함으로써 생성된 FA 영상의 특징 충실도를 향상시키는 것.
• 구조적 및 기능적 망막 영상 모odalities 간의 복잡한 매핑을 학습하는 GAN 기반의 이미지 간 번역 프레임워크를 개발하는 것.

제안 방법

• 조건부 생성 적대 신경망(cGAN)이 구조적 안저 영상에서 해당하는 혈관조영 영상(FA)으로의 매핑을 학습하도록 훈련된다.
• 국소적 중요도 지도가 작은 혈관과 유출 영역과 같은 진단적으로 중요한 픽셀을 식별하기 위해 계산된다.
• 이러한 중요도 지도를 기반으로 가중치가 부여된 적대적 손실을 이용해 새로운 중요도 손실이 도입되며, 이는 중요한 해부학적 특징에 대한 집중을 향상시킨다.
• 생성자 네트워크는 적대적 손실, L1 재구성 손실, 그리고 중요도 가중 손실을 포함하는 병합된 손실 함수를 사용하여 최적화된다.
• 판별자 네트워크는 실제 FA 영상과 생성된 영상 간을 구분하여 출력물의 현실적인 질감과 혈관 패턴을 보장한다.
• 모델은 특징의 명시적 세그멘테이션 또는 애너테이션 없이도 정확한 번역을 가능하게 하기 위해 쌍체의 구조적 및 FA 안저 영상으로 종단 간 훈련된다.

실험 결과

연구 질문

• RQ1 침습적 절차 없이 깊이 학습된 생성 모델이 구조적 안저 영상에서 혈관조영 영상(FA)을 정확하게 합성할 수 있는가?
• RQ2 국소적 중요도 지도를 통합할 경우 생성된 FA 영상에서 작은 혈관과 유출 특징의 충실도가 어떻게 향상되는가?
• RQ3 제안된 중요도 인식 손실 함수가 표준 GAN 손실에 비해 진단적 관련성 측면에서 얼마나 향상되는가?
• RQ4 모델은 생성된 FA 출력에서 임상적으로 관련된 혈관 패턴과 병변을 유지하는가?

주요 결과

• 제안된 방법은 높은 충실도로 미세한 혈관 구조와 유출 특징을 유지하는 합성 FA 영상을 성공적으로 생성한다.
• 중요도 지도를 손실 함수에 통합함으로써 모델이 작은 혈관과 병적 유출 영역을 재구성하는 능력이 크게 향상된다.
• 중요도 인식 손실은 구조적 유사도와 인지적 품질 향상으로써 표준 GAN 손실에 비해 더 정확한 특징 학습을 이끌어낸다.
• 모델는 실제 FA 영상과 비교할 만한 인지적 품질을 달성하여 임상적 의사결정 지원에서의 잠재적 응용 가능성을 뒷받침한다.