[논문 리뷰] MRI Super-Resolution with GAN and 3D Multi-Level DenseNet: Smaller, Faster, and Better

Yuhua Chen, Anthony Christodoulou외 4명|arXiv (Cornell University)|2020. 03. 02.

Advanced Image Processing Techniques참고 문헌 53인용 수 31

한 줄 요약

가볍고 3D 다층 Dense 연결 SR 네트워크(mDCSRN)와 GAN 가이드 버전(mDCSRN-GAN)을 MRI 초해상도에 도입하여, 대규모 HCP 데이터셋에서 더 낮은 메모리와 더 빠른 속도로 최첨단 정확도를 달성합니다.

ABSTRACT

High-resolution (HR) magnetic resonance imaging (MRI) provides detailed anatomical information that is critical for diagnosis in the clinical application. However, HR MRI typically comes at the cost of long scan time, small spatial coverage, and low signal-to-noise ratio (SNR). Recent studies showed that with a deep convolutional neural network (CNN), HR generic images could be recovered from low-resolution (LR) inputs via single image super-resolution (SISR) approaches. Additionally, previous works have shown that a deep 3D CNN can generate high-quality SR MRIs by using learned image priors. However, 3D CNN with deep structures, have a large number of parameters and are computationally expensive. In this paper, we propose a novel 3D CNN architecture, namely a multi-level densely connected super-resolution network (mDCSRN), which is light-weight, fast and accurate. We also show that with the generative adversarial network (GAN)-guided training, the mDCSRN-GAN provides appealing sharp SR images with rich texture details that are highly comparable with the referenced HR images. Our results from experiments on a large public dataset with 1,113 subjects showed that this new architecture outperformed other popular deep learning methods in recovering 4x resolution-downgraded images in both quality and speed.

연구 동기 및 목표

• 고해상도 MRI 재구성을 저해하는 긴 스캔 시간과 제한된 커버리지를 완화하기 위해 저해상도 입력으로부터 고해상도 MRI 재구성을 동기화하려는 동기 부여.
• MRI SR를 위한 3D 해상도 정보를 보존하는 메모리 효율적이고 빠른 3D CNN 아키텍처를 개발합니다.
• GAN 기반 학습을 도입하여 현실적인 질감을 회복함으로써 지각적 품질을 향상합니다.
• 대규모 공공 데이터세트에서 플랫폼과 스캐너 간의 강건성과 일반화를 입증합니다.

제안 방법

• DenseNet 기반의 3D 다층 Dense 연결 SR 네트워크(mDCSRN)를 제안하고, 다층 dense 연결과 메모리 사용량을 줄이는 compressor 모듈을 도입합니다.
• DenseBlock마다 깊이와 너비의 균형을 맞추고 매개변수 수를 줄이기 위해 bottleneck 1x1x1 compressor를 삽입합니다.
• 재구성에서 모든 DenseBlock 출력을 1x1x1 합성卷으로 직접 피쳐 결합하여 그래디언트 흐름과 효율성을 개선합니다.
• 생성기가 mDCSRN이고 판별기가 WGAN-GP 기반 네트워크인 mDCSRN-GAN을 학습시켜 SR 결과의 지각적 현실감을 향상합니다.
• L1 강도 손실과 GAN 적대적 손실(lambda = 0.1)을 결합한 손실 함수를 사용하여 최적화합니다.
• k-공간에서 MRI 다운샘플링을 시뮬레이션하여 LR-HR 쌍을 생성하고 SR 성능을 평가합니다.

실험 결과

연구 질문

• RQ1 저용량 3D Dense 연결 네트워크가 LR 입력으로부터 MRI의 고품질 4x SR를 달성할 수 있습니까?
• RQ2 GAN 가이드 학습이 양적 정확도 손실 없이 MRI SR의 지각적 품질을 향상시킵니까?
• RQ3 다층 Dense 연결 및 compressor 모듈이 메모리 사용량, 속도 및 성능에 대해 기존의 3D SR 네트워크와 비교하여 어떤 영향을 미칩니까?
• RQ4 제안된 접근법이 대규모 공공 데이터셋에서 스캐너와 플랫폼 간에 강건합니까?

주요 결과

PSNR	SSIM	NRMSE	#Parm	time(s)
NN	29.48 ± 0.81	0.8219 ± 0.0113	0.2007 ± 0.0071	N/A	N/A
Bicubic	30.30 ± 0.82	0.8420 ± 0.0105	0.1830 ± 0.0067	N/A	N/A
FSRCNN	34.33 ± 0.81	0.9207 ± 0.0062	0.1142 ± 0.0050	0.06M	15.57
SRResNet	36.09 ± 0.82	0.9425 ± 0.0052	0.0939 ± 0.0043	2.01M	107.16
SRDenseNet	35.93 ± 0.82	0.9413 ± 0.0052	0.0955 ± 0.0044	0.39M	17.95
b4u4k12	36.08 ± 0.82	0.9418 ± 0.0052	0.0935 ± 0.0044	0.23M	12.54
b6u4k12	36.31 ± 0.82	0.9438 ± 0.0051	0.0915 ± 0.0043	0.35M	19.60
b8u4k12	36.39 ± 0.82	0.9448 ± 0.0050	0.0906 ± 0.0043	0.49M	27.86

• mDCSRN은 여러 기준선 대비 파라미터 수가 대폭 적고 런타임이 더 빨라도 PSNR/SSIM에서 경쟁력 있는 성능을 달성합니다.
• 더 깊거나 넓은 구성은 성능을 향상시키지만, 얕고 메모리 제약이 있는 mDCSRN은 속도-정확도 트레이드오프를 우호적으로 제공합니다.
• mDCSRN-GAN은 텍스처가 풍부하고 지각적으로 더 예리한 SR 이미지를 생성하며, 지각적 지표가 비-GAN 모델에 비해 시각적 품질이 향상되었음을 나타냅니다.
• HCP 데이터세트(1113명)에서 mDCSRN 변형은 정량적 지표(PSNR/SSIM/NRMSE)에서 보간 및 기존 CNN 기반 SISR 모델보다 우수하고 실행 속도도 더 빠릅니다.
• 직접 피처 결합 재구성 레이어는 전통적인 재구성보다 매개변수가 적으면서도 비슷하거나 더 나은 성능을 달성합니다.
• GAN-가이드 학습은 플랫폼과 스캐너 전반에 걸쳐 강건한 SR 성능을 제공합니다.