[논문 리뷰] Over-and-Under Complete Convolutional RNN for MRI Reconstruction

Pengfei Guo, Jeya Maria Jose Valanarasu외 4명|arXiv (Cornell University)|2021. 06. 16.

Advanced MRI Techniques and Applications참고 문헌 30인용 수 4

한 줄 요약

이 논문은 과잉 및 과소 표현을 갖춘 복소화된 순환 신경망(CRNN)을 융합하여 국소적 특징 학습을 향상시키고 전반적 구조를 유지하는 데 목적이 있는 새로운 딥러닝 아키텍처인 Over-and-Under Complete Convolutional RNN(OUCR)을 제안한다. 기존의 딥러닝 및 압축 감지 방법보다 더 적은 파라미터로 최신 기술 수준의 영상 품질을 달성한다.

ABSTRACT

Reconstructing magnetic resonance (MR) images from undersampled data is a challenging problem due to various artifacts introduced by the under-sampling operation. Recent deep learning-based methods for MR image reconstruction usually leverage a generic auto-encoder architecture which captures low-level features at the initial layers and high-level features at the deeper layers. Such networks focus much on global features which may not be optimal to reconstruct the fully-sampled image. In this paper, we propose an Over-and-Under Complete Convolutional Recurrent Neural Network (OUCR), which consists of an overcomplete and an undercomplete Convolutional Recurrent Neural Network(CRNN). The overcomplete branch gives special attention in learning local structures by restraining the receptive field of the network. Combining it with the undercomplete branch leads to a network which focuses more on low-level features without losing out on the global structures. Extensive experiments on two datasets demonstrate that the proposed method achieves significant improvements over the compressed sensing and popular deep learning-based methods with less number of trainable parameters.

연구 동기 및 목표

• 매우 과도하게 샘플링된 k-공간 데이터로부터 고해상도 MRI 영상을 복원하는 데 있어 앨리어징 아티팩트와 세밀한 디테일의 손실을 해결하고자 한다.
• 기존의 딥러닝 기반 MRI 복원 방법은 전반적 특징을 우선시하면서 국소적, 저수준의 구조를 훼손하는 경향이 있기 때문에 이를 개선하고자 한다.
• 과잉 표현을 활용해 국소적 특징 추출 능력을 향상시키고, 과소 표현 지점으로부터 전반적 맥락을 유지함으로써 구조적 정보를 보존하고자 한다.
• 기존의 압축 감지 및 최신 딥러닝 방법보다 뛰어난 복원 품질을 달성하면서도 파라미터 효율성을 확보한 아키텍처를 개발하고자 한다.

제안 방법

• OUCR 아키텍처는 두 개의 병렬 브랜치로 구성된다: 국소적 특징 강조를 위해 수용영역을 제한한 과잉 CRNN(OC-CRNN), 전반적 구조를 포착하는 과소 CRNN(UC-CRNN).
• 과잉 브랜치는 최대 풀링 대신 업샘플링 레이어를 사용하여 세밀한 공간 정보를 유지하고 국소적 특징 학습을 향상시킨다.
• 과소 브랜치는 다운샘플링을 통해 점차로 수용영역을 확장하고 고수준 표현을 학습한다.
• 양 브랜치에 잔차 모듈(RM)을 적용하여 기울기 흐름을 개선하고 특징 정제를 향상시킨다.
• 두 브랜치의 출력을 융합하고 엔드 투 엔드 학습을 통해 함께 최적화하여 과도하게 샘플링된 k-공간 데이터로부터 완전히 샘플링된 MRI 영상을 복원한다.
• 이미지 디테일과 구조적 정합성을 유지하기 위해 L2 손실과 인지적 손실의 조합을 사용해 모델을 학습시킨다.

실험 결과

연구 질문

• RQ1 표준 오토인코더 스타일 네트워크에 비해 과잉 CRNN 아키텍처가 과도하게 샘플링된 MRI 복원에서 세밀한 디테일 복구에 기여하는가?
• RQ2 과잉 및 과소 표현 CRNN 브랜치를 융합하면 단독으로 사용할 경우보다 더 뛰어난 복원 성능을 달성하는가?
• RQ3 제안된 OUCR 아키텍처는 최신 딥러닝 및 압축 감지 방법보다 더 적은 학습 가능한 파라미터로 뛰어난 영상 품질을 달성할 수 있는가?
• RQ4 잔차 모듈의 포함 여부가 OUCR 아키텍처의 성능 및 수렴 속도에 미치는 영향은 무엇인가?

주요 결과

• 가속도 인자 8에서 HPKS 데이터셋에서 OUCR는 PSNR 32.14 dB, SSIM 0.9044를 기록하여 압축 감지(CS)의 24.96 dB, 0.7125와 UNet의 29.47 dB, 0.8249를 뛰어넘었다.
• 가속도 인자 8에서 fastMRI 데이터셋에서 OUCR는 PSNR 30.59 dB, SSIM 0.6634를 기록하여 KIKI-Net의 29.27 dB, 0.6355와 D5C5의 29.65 dB, 0.6457를 초월했다.
• 제거 실험 결과, 잔차 모듈을 포함한 UC-CRNN와 OC-CRNN의 융합이 AF=4에서 HPKS 데이터셋에서 최고의 PSNR(39.33 dB)와 SSIM(0.9747)를 기록함을 확인했다.
• OUCR 모델는 단지 119만 개의 파라미터로 최신 기술 수준의 성능을 달성하여 UNet(863만), Kiu-net(795만), D5C5(224만)보다도 더 파라미터 효율성이 뛰어나다.
• k-공간 분석 결과, OUCR는 저주파 및 고주파 성분 모두에서 모든 기준 모델보다 뛰어난 복원 능력을 보였으며, 이는 영상 대trast와 세밀한 디테일 보존 능력 향상을 시사한다.
• 통계적 유의성 검정 결과, OUCR의 성능 향상은 매우 유의미했으며(p < 10^-5).