[논문 리뷰] Brain MRI super-resolution using 3D generative adversarial networks

Irina Sánchez, Verónica Vilaplana|arXiv (Cornell University)|2018. 12. 29.

Advanced Image Processing Techniques참고 문헌 11인용 수 44

한 줄 요약

이 논문은 입력이 저해상도일 때 고해상도 3D MRI 부피를 생성하기 위해 SRGAN에서 영감을 받은 3D GAN 기반 접근법을 제시하고, 세 가지 업샘플링 전략을 탐구하며 적대적 손실과 콘텐츠 손실의 조합을 사용하여 현실감과 선명함을 향상시킨다.

ABSTRACT

In this work we propose an adversarial learning approach to generate high resolution MRI scans from low resolution images. The architecture, based on the SRGAN model, adopts 3D convolutions to exploit volumetric information. For the discriminator, the adversarial loss uses least squares in order to stabilize the training. For the generator, the loss function is a combination of a least squares adversarial loss and a content term based on mean square error and image gradients in order to improve the quality of the generated images. We explore different solutions for the upsampling phase. We present promising results that improve classical interpolation, showing the potential of the approach for 3D medical imaging super-resolution. Source code available at https://github.com/imatge-upc/3D-GAN-superresolution

연구 동기 및 목표

• 하드웨어나 프로토콜의 제약으로 고해상도 MRI를 가능하게 한다.
• 体積 MRI 정보를 활용하는 3D 대립 프레임워크를 개발한다.
• 의료 영상 초해상도에서 3D GAN 내 업샘플링 전략을 평가한다.
• 대립 손실과 콘텐츠 및 그래디언트 기반 항들을 결합하여 영상 품질을 향상시킨다.

제안 방법

• 생성기와 판별기에 3D 컨볼루션을 사용하는 SRGAN을 3D로 확장한다.
• 안정화를 위해 Least-Squares GAN (LSGAN) 손실을 사용한다.
• 대립 항과 콘텐츠 손실(MSE + 그래디언트 차 손실)을 결합한 생성기 손실을 채택한다.
• 세 가지 업샘플링 방법: resize-convolution, sub-pixel (pixel shuffle), checkerboard-artifact–mitigated variant (Subpixel-NN)을 조사한다.
• 메모리 제약하 메모리 기반 패치 학습으로 ADNI T1 강조 MRI 부피의 패치로 학습한다.

실험 결과

연구 질문

• RQ1 3D GAN이 체적 정보를 활용하여 3D MRI 초해상도에서 전통적 보간보다 우수한가?
• RQ2 3D MRI SR에서 perceptual 품질과 수치 지표 사이의 최적의 trade-off를 제공하는 업샘플링 전략은 무엇인가?
• RQ3 LS-GAN 손실과 그래디언트 기반 콘텐츠 용어가 생성된 부피의 현실감과 선명도에 어떤 영향을 미치는가?
• RQ4 제안 방법의 PSNR/SSIM 상승은 다운샘플링 팩터 2와 4에서 어떻게 나타나는가?
• RQ5 임상 해석에 영향을 미칠 만큼의 지각적 차이가 생성된 부피에 존재하는가?

주요 결과

업샘플링 요인	방법	PSNR	SSIM
x2	Cubic spline interpolation	39.11	0.9913
x2	Resize convolution	39.09	0.9898
x2	Subpixel	39.28	0.9849
x2	Subpixel-NN	39.28	0.9849
x4	Cubic spline interpolation	33.33	0.9688
x4	Resize convolution	32.86	0.9638
x4	Subpixel	33.58	0.9582
x4	Subpixel-NN	33.58	0.9770

• 3D GAN 기반 방법은 2배 및 4배 다운샘플링에서 3차 스플라인 보간보다 PSNR과 SSIM이 모두 향상된다.
• 업샘플링 전략 중 Resize Convolution이 x2 및 x4에서 가장 높은 SSIM(지각 품질)을 제공하는 반면, Subpixel 계열은 경쟁력 있는 PSNR을 달성한다.
• Subpixel-NN은 checkerboard 아티팩트를 줄이고 PSNR은 경쟁력을 유지하며 SSIM은 경쟁 방법에 근접한다.
• x4 다운샘플링에서 평균 PSNR은 Resize Convolution 및 Subpixel-NN 방식으로 가장 높으며 각각 33.33, 33.58이고 대응하는 SSIM은 0.9688, 0.9770이다.
• 결과는 높은 다운샘플링 팩터에서 특히 전통적 방법보다 지각적 품질이 우수한 3D 의료 영상 초해상도 가능성을 시사한다.