[논문 리뷰] Progressive Generative Adversarial Networks for Medical Image Super resolution

Dwarikanath Mahapatra, Behzad Bozorgtabar|arXiv (Cornell University)|2019. 02. 06.

Advanced Image Processing Techniques참고 문헌 18인용 수 19

한 줄 요약

이 논문은 8까지의 스케일링 인자에서 저해상도 의료 영상의 고품질 복원을 가능하게 하는 트리플릿 손실을 통합한 점진적 생성적 적대적 네트워크(P-GAN)를 제안한다. 다단계 훈련을 통해 출력을 반복적으로 개선함으로써, 기존의 GAN 기반 및 비-GAN 방법보다 뛰어난 영상 품질과 원본 고해상도 스캔에 가까운 분할 정확도를 달성하며, 망막 및 심장 MRI 응용 분야에서 모두 성능을 뛰어넘는다.

ABSTRACT

Anatomical landmark segmentation and pathology localization are important steps in automated analysis of medical images. They are particularly challenging when the anatomy or pathology is small, as in retinal images and cardiac MRI, or when the image is of low quality due to device acquisition parameters as in magnetic resonance (MR) scanners. We propose an image super-resolution method using progressive generative adversarial networks (P-GAN) that can take as input a low-resolution image and generate a high resolution image of desired scaling factor. The super resolved images can be used for more accurate detection of landmarks and pathology. Our primary contribution is in proposing a multistage model where the output image quality of one stage is progressively improved in the next stage by using a triplet loss function. The triplet loss enables stepwise image quality improvement by using the output of the previous stage as the baseline. This facilitates generation of super resolved images of high scaling factor while maintaining good image quality. Experimental results for image super-resolution show that our proposed multistage P-GAN outperforms competing methods and baseline GAN.

연구 동기 및 목표

• 저해상도 의료 영상에서 소형 구조물(예: 망막 미세동맥류 또는 심장 심실)의 정확한 해부학적 랜드마크 및 병변 탐지 문제를 해결하기 위해.
• 기존 GAN 기반 초해상도 방법이 히وري스틱 매개변수에 의존하거나 고스케일링 인자에서 영상 품질을 유지하지 못하는 한계를 극복하기 위해.
• 점진적인 반복 개선을 통해 영상 품질을 체계적으로 향상시키는 다단계 점진적 GAN 프레임워크를 개발하기 위해.
• 다양한 의료 영상 모odalities(망막 후면도 및 심장 MRI 포함)에서 본 방법의 효과성을 입증하기 위해.

제안 방법

• 각 단계의 출력이 다음 단계의 입력으로 공급되는 다단계 점진적 GAN 아키텍처를 사용하여 점진적인 영상 품질 향상을 가능하게 한다.
• 각 단계의 출력이 이전 단계의 출력보다 진짜 고해상도 영상에 더 가까워지도록 보장하기 위해 GAN 훈련 과정에 트리플릿 손실 함수를 통합한다.
• 스킵 연결을 사용하는 깊은 잔차 네트워크(ResNet) 기반 생성자 네트워크를 사용하며, 공간적 세부 정보를 유지하기 위해 UNet 스타일의 스킵 연결을 적용한다.
• 판별자 네트워크는 진짜 고해상도 영상과 생성된 초해상도 영상 간을 구분하도록 훈련되며, 생성자는 MSE, 인지적(VGG 기반) 및 트리플릿 손실을 조합한 손실 함수를 최적화 목적으로 사용한다.
• 트리플릿 손실은 상대적 순위를 강제한다: 단계 i의 생성 영상은 이전 단계 i-1의 출력보다 진짜 고해상도 영상에 더 가까워야 한다.
• 모든 단계에서 적대적, 인지적, 트리플릿 손실의 조합을 통해 종단 간(end-to-end)으로 훈련하여 정밀도, 현실성 및 점진적 향상 간 균형을 이룬다.

실험 결과

연구 질문

• RQ1 고스케일링 인자(예: 8)에서 단일 단계 GAN보다 다단계 GAN에 트리플릿 손실을 통합한 방법이 의료 영상에서 더 나은 초해상도 성능을 달성할 수 있는가?
• RQ2 트리플릿 손실을 통한 점진적 개선은 기준 GAN 및 비-GAN 방법에 비해 영상 품질 및 후속 분할 정확도에서 측정 가능한 향상을 이끌 수 있는가?
• RQ3 본 방법으로 복원된 초해상도 영상은 망막 혈관 분할 및 미세동맥류 탐지에서 원본 고해상도 영상의 성능에 얼마나 가까이 도달할 수 있는가?
• RQ4 제안된 방법은 망막 후면도 및 심장 MRI와 같은 다양한 의료 영상 모달리티로 일반화 가능한가?

주요 결과

• 스케일링 인자 4에서 제안된 P-SRGAN은 PSNR 43.7 dB, SSIM 0.83를 기록하여 SRGAN(34.1 dB, 0.70)과 SRCNN(32.7 dB, 0.69)을 압도적으로 앞섰다.
• 스케일링 인자 8에서 본 방법은 PSNR 41.3 dB, SSIM 0.79를 기록하여 SRGAN(31.7 dB, 0.67)과 SSR(26.1 dB, 0.59)를 크게 앞섰다.
• 심장 좌심실 분할에서 P-GAN 방법은 스케일링 인자 4에서 Dice 점수 91.3, HD 6.9를 기록하여 SRGAN(86.4, 9.0)과 SRCNN(84.8, 9.7)을 능가했다.
• P-GAN로 복원된 영상을 사용한 분할 정확도는 원본 고해상도 영상에서 확보한 정확도와 거의 구분되지 않아 임상적 유용성이 높음을 입증했다.
• 망막 및 심장 MRI 결과에서 모두 시각적으로 확인된 바와 같이, 기준 GAN 및 비-GAN 방법 대비 재구성 영상의 흐림과 잡음 요소를 줄였다.
• 트리플릿 손실의 사용은 특히 고스케일링 인자에서 단계 간 일관된 품질 향상을 가능하게 하여 점진적 개선 메커니즘의 타당성을 입증했다.