[논문 리뷰] Retinal Vasculature Segmentation Using Local Saliency Maps and Generative Adversarial Networks For Image Super Resolution

Dwarikanath Mahapatra, Behzad Bozorgtabar|arXiv (Cornell University)|2017. 10. 13.

Advanced Image Processing Techniques참고 문헌 88인용 수 39

한 줄 요약

이 논문은 곡률과 엔트로피 기반 특징 맵에서 유도된 국소 촉각 지도를 통합한 새로운 촉각 손실 함수를 활용하여, 망막 후면도 이미지의 초해상도를 향상시키는 GAN 기반 방법을 제안한다. 이는 시각적 품질 향상과 구조적 유지 보존에 기여한다. 이 방법은 초해상도에서 최신 기술 수준의 성능을 달성하며, 특히 16× 이하의 확대 비율에서 원본 고해상도 이미지 수준에 가까운 망막 혈관 분할 정확도를 제공한다.

ABSTRACT

We propose an image super resolution(ISR) method using generative adversarial networks (GANs) that takes a low resolution input fundus image and generates a high resolution super resolved (SR) image upto scaling factor of $16$. This facilitates more accurate automated image analysis, especially for small or blurred landmarks and pathologies. Local saliency maps, which define each pixel's importance, are used to define a novel saliency loss in the GAN cost function. Experimental results show the resulting SR images have perceptual quality very close to the original images and perform better than competing methods that do not weigh pixels according to their importance. When used for retinal vasculature segmentation, our SR images result in accuracy levels close to those obtained when using the original images.

연구 동기 및 목표

• 작은 병변과 미세한 혈관 구조를 정확하게 탐지할 수 있도록 제한되는 저해상도 맹경 후면도 이미지의 문제를 해결한다.
• 기존의 GAN 기반 초해상도 방법이 고해상도 비율(예: 16×)에서 국소 구조적 세부 정보를 유지하지 못하는 한계를 극복한다.
• 국소 촉각 지도를 활용해 시각적 중요도를 기반으로 픽셀을 가중치화하는 새로운 손실 함수를 개발하여 이미지의 정밀도를 향상시킨다.
• 제안된 방법으로 생성된 초해상도 이미지가 원본 고해상도 이미지 수준의 맹막 혈관 분할 성능에 근접함을 입증한다.

제안 방법

• 망막 이미지의 국소 구조적 정보를 캡처하기 위해 이차 도함수를 사용해 곡률 맵을 계산한다.
• 7×7 이웃 영역에서 엔트로피 맵을 생성하여 맹막 구조의 밀도와 연속성을 정량화하고, 이를 뒤집고 정규화하여 밀도가 높은 영역을 강조한다.
• 곡률과 뒤집힌 엔트로피 특징의 절대 차이 맵을 조합하여 국소 촉각 지도를 구성하며, 학습된 균형 파라미터(w₁ = 0.4)로 가중한다.
• 촉각 지도를 GAN 손실 함수에 통합하여 가중치가 부여된 시각적 손실로 활용하고, 표준 MSE 또는 특징 기반 손실 함수를 대체한다.
• 진짜 고해상도 이미지와 생성된 초해상도 이미지를 구분하기 위해 판별자와 함께 ResNet 기반 생성자에 대해 적대적 훈련을 수행한다.
• 제안된 촉각 가중 손실과 CNN 특징 손실을 조합한 하이브리드 손실을 사용하여 구조적 품질과 시각적 품질을 동시에 유지한다.

실험 결과

연구 질문

• RQ1 곡률과 엔트로피 특징에서 유도된 국소 촉각 지도는 기존의 GAN 손실 함수에 비해 초해상도 맹막 이미지의 시각적 품질을 향상시키는가?
• RQ2 촉각 지도를 통한 픽셀 수준의 중요도 반영이 미세한 맹막 구조(예: 미세 혈관 분지, 미세 동맥류)의 보존에 기여하는가?
• RQ3 제안된 초해상도 방법이 원본 고해상도 이미지 수준의 맹막 혈관 분할 정확도에 얼마나 가까이 도달하는가?
• RQ4 16× 이하의 고해상도 비율에서 제안된 방법이 정량적 지표(예: SSIM, PSNR, RMSE)와 시각적 품질 측면에서 최신 기술 수준의 GAN 기반 및 비-GAN 초해상도 기법과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 방법 SRGAN_Sal은 4× 확대 비율에서 SSIM = 0.83, RMSE = 6.9, PSNR = 38.6 dB를 기록하며 SRGAN_Ledig 및 기타 기준 모델을 초월한다.
• 16× 확대 비율에서도 높은 시각적 품질을 유지하고 미세한 맹막 구조를 잘 보존하며, 시각적 결과에서 경쟁 기법 대비 더 선명한 미세 혈관 분지가 확인된다.
• DRIVE 데이터셋에서 4× 확대 비율에서 SRGAN_Sal을 사용한 맹막 혈관 분할은 정확도(Acc) 0.96, 민감도(Sen) 0.77를 기록하며, 기준값(Acc = 0.98, Sen = 0.79)에 근접한다.
• CNN 손실 없이 촉각 기반 손실만 사용했을 경우 4× 확대 비율에서 SSIM = 0.81을 기록하여, 구조적 콘텐츠 보존에 효과적임을 입증한다.
• 촉각 손실과 CNN 손실의 조합은 개별 손실보다 성능 향상이著명하며, Wilcoxon 부호 순위 검정 결과 통계적 유의성이 확인된다.
• 시각적 비교 결과 SRGAN_Sal은 더 선명한 이미지와 명확한 혈관 세부 정보를 생성하는 반면, SRGAN_Ledig 및 SRCNN과 같은 경쟁 기법은 특히 미세한 구조에서 눈에 띄는 흐림 현상을 보였다.