[논문 리뷰] How Can We Make GAN Perform Better in Single Medical Image Super-Resolution? A Lesion Focused Multi-Scale Approach

Jin Zhu, Guang Yang외 1명|arXiv (Cornell University)|2019. 01. 10.

Advanced Image Processing Techniques참고 문헌 23인용 수 12

한 줄 요약

이 논문은 뇌 종양 MRI에서 단일 의료 영상 초해상도를 위한 병변 집중 다중 척도 GAN(LFSR-MS-GAN)을 제안하며, 병변 영역에 초점을 맞추고 고급 GAN 아키텍처를 사용하여 인지적 품질과 안정성을 향상시킨다. 이 방법은 평균 의견 점수(MOS)가 3.26±0.626으로 진정된 기준에 가까운 뛰어난 인지적 품질을 달성하면서 잡음과 왜곡을 줄이고 중요한 병변 세부 정보를 유지한다.

ABSTRACT

Single image super-resolution (SISR) is of great importance as a low-level computer vision task. The fast development of Generative Adversarial Network (GAN) based deep learning architectures realises an efficient and effective SISR to boost the spatial resolution of natural images captured by digital cameras. However, the SISR for medical images is still a very challenging problem. This is due to (1) compared to natural images, in general, medical images have lower signal to noise ratios, (2) GAN based models pre-trained on natural images may synthesise unrealistic patterns in medical images which could affect the clinical interpretation and diagnosis, and (3) the vanilla GAN architecture may suffer from unstable training and collapse mode that can also affect the SISR results. In this paper, we propose a novel lesion focused SR (LFSR) method, which incorporates GAN to achieve perceptually realistic SISR results for brain tumour MRI images. More importantly, we test and make comparison using recently developed GAN variations, e.g., Wasserstein GAN (WGAN) and WGAN with Gradient Penalty (WGAN-GP), and propose a novel multi-scale GAN (MS-GAN), to achieve a more stabilised and efficient training and improved perceptual quality of the super-resolved results. Based on both quantitative evaluations and our designed mean opinion score, the proposed LFSR coupled with MS-GAN has performed better in terms of both perceptual quality and efficiency.

연구 동기 및 목표

• 저해상도 뇌 종양 MRI 스캔에서 현실적이고 잡음이 없는 초해상도 의료 영상 생성의 과제를 해결하기 위해.
• 표준 GAN의 한계를 극복하기 위해, 안정적인 학습, 모드 붕괴, 비현실적인 질감 합성 등의 문제를 해결하기 위해.
• 초해상도 과정 중 병변 영역에 네트워크 주의를 집중시켜 인지적 품질과 진단 유용성을 향상시키기 위해.
• 기본 GAN, WGAN, WGAN-GP 및 새로운 MS-GAN을 포함한 GAN 변종을 의료 영상 초해상도에서 평가하고 비교하기 위해.
• 기존의 PSNR/SSIM을 넘어서 임상적 유의성을 더 잘 평가하기 위해 전문 방사선의사의 판단을 반영한 평균 의견 점수(MOS)를 도입하기 위해.

제안 방법

• 저해상도 MRI 스캔에서 종양 영역을 식별하고 국소화하기 위해 병변 탐지 네트워크(LD)를 사용한다.
• 병변 집중 초해상도(LFSR) 프레임워크는 생성자에게 병변 영역에서 재구성 정밀도를 우선시하도록 제약을 둔다. 이는 방사선의가 주의를 기울이는 방식을 모방한다.
• 스킵 연결과 다양한 척도 간의 다중 수준 특징 학습을 통합한 새로운 다중 척도 GAN(MS-GAN) 아키텍처를 제안한다. 이는 질감과 윤곽 복구를 향상시킨다.
• MS-GAN은 현실성, 세부 정보 및 정밀도를 균형 있게 유지하기 위해 적대적 손실, 인지적 손실(VGG 기반), 그리고 평균 제곱 오차(MSE) 손실을 사용한다.
• 기본 GAN의 대안으로 안정적인 학습과 샘플 품질 향상을 위해 워셔스타인 GAN(WGAN)과 기울기 페널티를 적용한 WGAN(WGAN-GP)을 평가한다.
• 생성자는 실제 고해상도(HR) 영상과 생성된 초해상도(SR) 출력을 구분하는 판별자와 함께 엔드 투 엔드로 학습되며, 기울기 페널티를 통해 리프시츠 연속성을 강제한다.

실험 결과

연구 질문

• RQ1 병변 집중 접근 방식이 초해상도 뇌 종양 MRI 영상의 인지적 품질과 진단 유용성을 향상시킬 수 있는가?
• RQ2 의료 영상 초해상도에서 WGAN와 WGAN-GP가 기본 GAN에 비해 학습 안정성과 인지적 품질 측면에서 어떻게 비교되는가?
• RQ3 다중 척도 GAN 아키텍처가 단일 척도 생성자에 비해 초해상도 의료 영상의 질감과 윤곽 세부 정보를 향상시킬 수 있는가?
• RQ4 전문가 기반 평균 의견 점수(MOS)를 통합함으로써 기존의 PSNR 및 SSIM과 같은 전통적 지표보다 더 임상적으로 의미 있는 평가가 가능한가?
• RQ5 제안된 LFSR-MS-GAN 방법은 병변 영역에서 존재하지 않는 특징의 합성을 줄이면서도 신호 대 잡음비(SNR)를 향상시킬 수 있는가?

주요 결과

• 제안된 LFSR와 MS-GAN은 평균 의견 점수(MOS)가 3.26±0.626으로 가장 높았으며, 다른 GAN 변종들보다 유의미하게 뛰어나고 진정된 기준 영상의 MOS(3.28±0.838)에 가까워졌다.
• WGAN-GP와 WGAN은 기본 GAN보다 인지적 품질과 더 높은 MOS를 보였으며, WGAN-GP의 MOS는 3.10±0.686, WGAN의 MOS는 3.09±0.694를 기록했다.
• LFSR-MS-GAN 방법은 도시화된 그림 4에서 시각적으로 확인된 바와 같이 앨리어징 잡음과 왜곡을 효과적으로 줄였고, 병변 윤곽과 질감을 향상시켰다. 이는 진정된 기준 영상의 SNR이 낮을 때조차도 성립한다.
• SRResNet은 가장 높은 PSNR(27.2±1.96)와 SSIM(0.806±0.0499)를 기록했지만, 병변 세부 정보가 부드럽게 처리되어 진단 유용성이 떨어졌으며, 강한 정량적 점수에도 불구하고 그렇다.
• MS-GAN의 학습 비용은 더 높았지만(422.2초/에포크), SRResNet(229.6초/에포크)보다 빠른 수렴과 더 나은 인지적 결과를 달성하여 임상 적용에 유리한 트레이드오프를 보였다.
• 본 연구는 PSNR와 SSIM만으로는 의료 영상 초해상도 평가에 부적절하며, 둥그스름하고 현실적인 외관을 가진 출력을 선호할 수 있으므로 진단에 중요한 세부 정보 유지 여부를 고려하지 못한다는 점을 입증한다.