[논문 리뷰] Self Super-Resolution for Magnetic Resonance Images using Deep Networks

Can Zhao, Aaron Carass외 2명|arXiv (Cornell University)|2018. 02. 26.

Advanced Image Processing Techniques참고 문헌 8인용 수 7

한 줄 요약

이 논문은 외부 학습 데이터 없이 저해상도 스캔에서 고해상도 영상을 생성하는 자기공명영상(MRI)을 위한 자기학습 초해상도 방법인 EDSSR을 제안한다. 축삭 영상의 축소를 통해 합성된 저해상도 패치를 생성하고, 푸리에 버스트 누적(Fourier Burst Accumulation, FBA)을 활용한 EDSR 딥 네트워크를 적용함으로써, 통과 평면 해상도를 크게 향상시켰으며, 보간법 및 이전의 자기학습 방법보다 PSNR와 SSIM에서 각각 최대 3.5 dB와 0.014 향상되었다.

ABSTRACT

High resolution magnetic resonance~(MR) imaging~(MRI) is desirable in many clinical applications, however, there is a trade-off between resolution, speed of acquisition, and noise. It is common for MR images to have worse through-plane resolution~(slice thickness) than in-plane resolution. In these MRI images, high frequency information in the through-plane direction is not acquired, and cannot be resolved through interpolation. To address this issue, super-resolution methods have been developed to enhance spatial resolution. As an ill-posed problem, state-of-the-art super-resolution methods rely on the presence of external/training atlases to learn the transform from low resolution~(LR) images to high resolution~(HR) images. For several reasons, such HR atlas images are often not available for MRI sequences. This paper presents a self super-resolution~(SSR) algorithm, which does not use any external atlas images, yet can still resolve HR images only reliant on the acquired LR image. We use a blurred version of the input image to create training data for a state-of-the-art super-resolution deep network. The trained network is applied to the original input image to estimate the HR image. Our SSR result shows a significant improvement on through-plane resolution compared to competing SSR methods.

연구 동기 및 목표

• 촬영 시간과 신호 대비 잡음비(SNR) 제약으로 인해 임상적으로 통과 평면 해상도가 제한되는 MRI 스캔 문제를 해결하기 위해.
• 일반적으로 이용 가능하지 않거나 강도 및 해상도가 불일치하는 외부 고해상도 애틀라스 영상에 의존하는 것을 제거하기 위해.
• 입력 영상 자체에서만 학습하는 자기학습 초해상도 프레임워크를 개발하여 분포 이탈과 과적합을 방지하기 위해.
• T1 가중 MRI에서 고주파 통과 평면 세부 정보를 복원함으로써 영상 품질과 진단 정확도를 향상시키기 위해.

제안 방법

• 입력 MRI 볼륨의 축삭 영상을 통과 평면 방향으로 블러링하여 합성된 저해상도 학습 데이터를 생성한다.
• 이 합성된 저해상도 패치에서 원본 영상에서 유도된 고해상도 패치로의 매핑을 학습하기 위해 EDSR 딥 신경망을 사용한다.
• 학습된 네트워크를 입력 영상의 coronal 및 sagittal 영상에 적용하여 해당 방향에서 고해상도 버전을 예측한다.
• 푸리에 버스트 누적(Fourier Burst Accumulation, FBA)을 사용하여 다수의 방향에서의 예측 결과를 통합해 최종적으로 일관된 고해상도 볼륨을 생성한다.
• 실제 임상 MRI 슬라이스 두께에 적합한 비정수 내림샘플링 인자도 지원하여 실제 적용에 적합하도록 한다.
• 합성 데이터에서 사전 학습함으로써 전이 학습이 가능해져, 최소한의 재학습으로 다양한 데이터셋 간에 효과적으로 적응할 수 있다.

실험 결과

연구 질문

• RQ1 외부 고해상도 애틀라스 데이터가 필요 없이 딥 초해상도 네트워크가 MRI에서 높은 품질의 통과 평면 해상도 향상을 달성할 수 있는가?
• RQ2 내부 영상 통계를 기반으로 한 자기학습 학습 방식이 외부 애틀라스 기반 학습 방식보다 영상 품질과 일반화 능력 측면에서 어떻게 비교되는가?
• RQ3 비정수 내림샘플링 인자(예: k ≈ 2.65)가 임상 MRI의 자기학습 초해상도 프레임워크에서 효과적으로 처리될 수 있는가?
• RQ4 다양한 영상 방향에서의 예측 결과를 통합할 때 푸리에 버스트 누적(FBA)이 재구성 정밀도를 향상시키는가?
• RQ5 주어진 환자와 애틀라스 영상 간 강도 및 해상도 불일치로 인한 과적합 문제를 어느 정도 줄일 수 있는가?

주요 결과

• 3mm 슬라이스 두께에 대해 EDSSR은 평균 PSNR 34.44 dB를 기록하여 BSP(31.98 dB)와 SSR [11](33.49 dB)를 유의미하게 초월했으며, 통계적 검정에서 p-value < 0.05를 확보했다.
• 3mm 입력에 대해 EDSSR은 평균 SSIM 0.9773을 기록하여 SSR [11](0.9678)과 BSP(0.9635)보다 유의미하게 높아 구조적 보존 능력이 뛰어나다는 것을 시사한다.
• 실제 2.20mm 슬라이스 두께 데이터에 대한 시각적 비교에서 EDSSR은 BSP 및 SSR [11]보다 더 선명한 윤곽선과 더 세밀한 해부학적 세부 정보를 생성했다.
• 비정수 내림샘플링 인자(예: k ≈ 2.65)에 대해 강건성을 입증하였으며, 이는 EDSR이 정수 스케일링을 요구하는 데 반해 임상 MRI에서 흔한 상황에 적합하다.
• 새로운 데이터셋에 대해 미세조정할 경우, 전이 학습으로 인해 학습 시간이 50~90% 감소하여 다양한 환자 및 스캐너 간에 효율적인 적응이 가능했다.
• 자기학습 방식은 학습 및 테스트 데이터 간 강도 불일치 문제를 제거하여 과적합을 줄이고 임상 환경에서의 일반화 능력을 향상시켰다.