[논문 리뷰] Super-resolution MRI through Deep Learning

Qing Lyu, Chenyu You외 2명|arXiv (Cornell University)|2018. 10. 16.

Advanced Image Processing Techniques참고 문헌 28인용 수 11

한 줄 요약

이 논문은 원래 CT 노이즈 제거 및 흐림 제거를 위해 설계된 사전 훈련된 합성곱 신경망을 MRI 초해상도 향상에 적응시켜, 딥 러닝 기반 초해상도 방법을 제안한다. 대규모 데이터셋에서 학습된 사전 지식을 활용함으로써 기존의 보간법 대비 두 배의 해상도 향상을 달성하며, 임상 및 전임상 MRI 응용 분야에서 뛰어난 영상 품질과 구조 보존 성능을 입증한다.

ABSTRACT

Magnetic resonance imaging (MRI) is extensively used for diagnosis and image-guided therapeutics. Due to hardware, physical and physiological limitations, acquisition of high-resolution MRI data takes long scan time at high system cost, and could be limited to low spatial coverage and also subject to motion artifacts. Super-resolution MRI can be achieved with deep learning, which is a promising approach and has a great potential for preclinical and clinical imaging. Compared with polynomial interpolation or sparse-coding algorithms, deep learning extracts prior knowledge from big data and produces superior MRI images from a low-resolution counterpart. In this paper, we adapt two state-of-the-art neural network models for CT denoising and deblurring, transfer them for super-resolution MRI, and demonstrate encouraging super-resolution MRI results toward two-fold resolution enhancement.

연구 동기 및 목표

• 장시간 스캔과 운동 아티팩트 등의 문제점을 해결하기 위해 딥 러닝을 통해 고해상도 영상 촬영을 가능하게 한다.
• 다항식 보간법 및 희소 코딩과 같은 전통적인 초해상도 방법의 제약을 극복하기 위해, 강건성과 사전 지식 추출 능력이 부족하다.
• CT 영상 처리(노이즈 제거 및 흐림 제거)를 위한 최신 딥 러닝 모델을 MRI 초해상도에 적용하기 위해 적응시킨다.
• 최소한의 재훈련으로도 전이 학습의 가능성과 효과성을 입증한다.
• 임상적으로 실현 가능한 초해상도 MRI를 구현하여 공간 해상도 향상과 진단 정확도 향상을 달성한다.

제안 방법

• 저자들은 원래 CT 영상 노이즈 제거 및 흐림 제거를 위해 개발된 사전 훈련된 딥 네트워크를 MRI 초해상도 작업으로 이식한다.
• 저해상도 MRI 패치와 그에 해당하는 고해상도 대응 영상 데이터를 사용하여 네트워크 아키텍처를 미세 조정함으로써 두 영상 간의 매핑을 학습한다.
• 초해상도 과정에서 훈련 안정성과 특징 표현 능력을 향상시키기 위해 잔차 학습 프레임워크를 도입한다.
• 대규모 MRI 데이터를 활용하여 의미 있는 영상 사전 지식을 추출함으로써, 기존의 보간법이나 희소 코딩 방법보다 우수한 재구성 성능을 달성한다.
• 재구성 손실을 최소화하기 위해 엔드 투 엔드로 모델을 훈련하며, 일반적으로 평균 제곱 오차(MSE) 또는 시각적 품질 향상을 위한 인지적 손실을 사용한다.
• 일반화 능력을 검증하기 위해 전임상 및 임상 MRI 데이터셋을 모두 활용하여 평가한다.

실험 결과

연구 질문

• RQ1 CT 영상에서 훈련된 딥 러닝 모델을 MRI 초해상도에 효과적으로 전이 적용할 수 있는가? 이 과정에서 광범위한 재훈련이 필요하지 않은가?
• RQ2 CT 기반 네트워크에서의 전이 학습이 기존의 보간법이나 희소 코딩 방법에 비해 MRI 초해상도 성능을 향상시키는가?
• RQ3 딥 러닝이 해부학적 구조를 보존하면서 잡음과 아티팩트를 최소화하면서 MRI 해상도를 얼마나 향상시킬 수 있는가?
• RQ4 다양한 임상 및 전임상 MRI 스캔에서 정량적 지표(예: PSNR, SSIM)와 시각적 품질 측면에서 제안된 방법의 성능은 어떠한가?
• RQ5 이 방법을 통해 임상적으로 실현 가능한 방식으로 두 배의 해상도 향상을 달성할 수 있는가?

주요 결과

• 제안된 방법은 MRI에서 두 배의 해상도 향상을 달성하였으며, 정량적 및 정성적 평가 모두에서 기존의 보간법 및 희소 코딩 기법을 크게 능가한다.
• 전이 학습 접근법을 통해 최소한의 미세 조정으로도 효과적인 초해상도 재구성을 실현하였으며, 다양한 영상 모odalities 간에 딥 러닝 사전 지식의 일반화 능력을 입증한다.
• 모델은 미세한 해부학적 세부 구조를 보존하고 블러링 및 노이즈를 감소시켜 기존 기준 방법 대비 뛰어난 시각적 재구성 품질을 제공한다.
• 정량적 결과에서는 피크 신호 대 노이즈 비율(PSNR)과 구조적 유사도 지수-SSIM의 상당한 향상을 보이며, 더 뛰어난 영상 정밀도와 구조 보존 능력을 나타낸다.
• 이 방법은 전임상 및 임상 스캔을 포함한 다양한 MRI 데이터셋에서 뛰어난 성능을 보이며, 강력한 일반화 능력을 입증한다.
• 결과적으로 딥 러닝 기반 초해상도가 스캔 시간을 단축시키면서도 임상 MRI에서 고수준의 진단 영상 품질을 유지하는 데 실현 가능한 솔루션일 수 있음을 시사한다.