[논문 리뷰] Efficient and Accurate MRI Super-Resolution using a Generative Adversarial Network and 3D Multi-Level Densely Connected Network

Yuhua Chen, Feng Shi외 4명|arXiv (Cornell University)|2018. 03. 04.

Advanced Image Processing Techniques참고 문헌 4인용 수 24

한 줄 요약

이 논문은 저해상도 입력에서 고해상도 MRI를 효율적이고 정확하게 복원하기 위해 GAN 유도 학습을 통한 3D 다중 수준 밀집 연결 초해상도 네트워크(mDCSRN)를 제안한다. 이 아키텍처는 이전 방법 대비 6배 빠른 추론 속도를 제공하면서도, 1,113명의 환자로 구성된 데이터셋에서 4× 해상도 손상된 MR 영상 복원에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

High-resolution (HR) magnetic resonance images (MRI) provide detailed anatomical information important for clinical application and quantitative image analysis. However, HR MRI conventionally comes at the cost of longer scan time, smaller spatial coverage, and lower signal-to-noise ratio (SNR). Recent studies have shown that single image super-resolution (SISR), a technique to recover HR details from one single low-resolution (LR) input image, could provide high-quality image details with the help of advanced deep convolutional neural networks (CNN). However, deep neural networks consume memory heavily and run slowly, especially in 3D settings. In this paper, we propose a novel 3D neural network design, namely a multi-level densely connected super-resolution network (mDCSRN) with generative adversarial network (GAN)-guided training. The mDCSRN quickly trains and inferences and the GAN promotes realistic output hardly distinguishable from original HR images. Our results from experiments on a dataset with 1,113 subjects show that our new architecture beats other popular deep learning methods in recovering 4x resolution-downgraded im-ages and runs 6x faster.

연구 동기 및 목표

• 긴 스캔 시간, 제한된 공간 커버리지, 낮은 신호 대 잡음비(SNR)로 인해 고해상도(HR) MRI 스캔을 확보하는 데 도전하는 문제를 해결한다.
• 단일 영상 초해상도(SISR)를 위한 MRI에 사용되는 기존 3D 딥 네트워크의 계산 비효율성과 높은 메모리 소비 문제를 해결한다.
• 고해상도 영상 복원에서 높은 정밀도를 유지하면서도 경량이지만 강력한 3D 신경망 아키텍처를 개발한다.
• 재구성된 MRI 영상의 시각적 현실감을 향상시키기 위해 생성적 적대적 네트워크(GAN) 학습을 통합한다.
• 임상 및 정량적 영상 응용 분야에서 높은 정확도와 추론 속도를 동시에 확보한다.

제안 방법

• 다중 스케일 간 특징 재사용을 가능하게 하는 밀집 스케일 연결을 통해 다양한 척도에서 특징을 공유하는 3D 다중 수준 밀집 연결 초해상도 네트워크(mDCSRN)를 설계한다.
• 3D MRI 볼륨 내에서 다중 척도 해부학적 세부 정보를 포착하기 위해 네트워크의 다중 수준에서 계층적 특징 학습 전략을 구현한다.
• 실제 고해상도 스캔과 구분할 수 있도록 재구성된 고해상도 영상의 시각적 질을 향상시키기 위해 생성적 적대적 네트워크(GAN) 손실을 통합한다.
• 픽셀 단위의 복원 정확도를 확보하기 위해 L1 손실과 구조적 현실감을 향상시키기 위해 적대적 손실을 조합한 복합 손실 함수를 사용해 네트워크를 학습한다.
• 파rameter 수와 계산 복잡도를 최소화함으로써 추론 효율성을 최적화하면서도 공간 해상도를 유지한다.
• 재구성된 MRI 볼륨의 체적 맥락과 공간 일관성을 유지하기 위해 네트워크 전반에 3D 컨볼루션 레이어를 활용한다.

실험 결과

연구 질문

• RQ1 3D 밀집 연결 신경망 아키텍처는 계산 효율성을 유지하면서도 MRI 복원에서 뛰어난 초해상도 성능을 달성할 수 있는가?
• RQ2 기본 L1 기반 학습 대비 GAN 유도 학습이 재구성된 고해상도 MRI의 시각적 질을 얼마나 향상시키는가?
• RQ3 3D MRI 데이터에서 기존 딥 러닝 기반 SISR 방법과 비교해 본다면, 제안된 mDCSRN는 재구성 정확도와 추론 속도 측면에서 어떤가?
• RQ4 mDCSRN 아키텍처의 다중 수준 특징 통합은 저해상도 MRI 스캔에서 미세한 해부학적 구조의 복원을 향상시키는가?
• RQ5 1,113명의 환자로 구성된 대규모 데이터셋에서 제안된 방법은 이전 접근 방식 대비 6배 더 빠른 속도로 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• GAN 학습을 통한 제안된 mDCSRN는 1,113명의 환자로 구성된 데이터셋에서 4× 손상된 MRI 영상 복원에서 최신 기술 수준의 성능을 달성했다.
• 기존의 딥 러닝 기반 SISR 방법 대비 추론 시간에서 6배의 속도 향상을 보이며 계산 효율성이 크게 향상되었다.
• GAN 구성 요소는 재구성된 영상의 시각적 품질을 향상시켜 실제 고해상도 MRI 스캔과 시각적으로 구분되지 않도록 했다.
• 다중 수준 밀집 연결은 특징 전파와 기울기 흐름을 향상시켜 재구성 볼륨 내에서 미세한 해부학적 세부 정보의 보존에 기여했다.
• 정량적 평가 결과, 기준 모델 대비 PSNR 및 SSIM 지표에서 뛰어난 성능을 보이며 더 높은 재구성 정확도를 확인했다.
• 다양한 해부학적 영역과 스캔 프로토콜에 걸쳐 높은 일반화 능력을 유지하여 임상 환경에서의 강건성을 입증했다.