[논문 리뷰] Dual-Octave Convolution for Accelerated Parallel MR Image Reconstruction

Chun-Mei Feng, Zhanyuan Yang외 3명|arXiv (Cornell University)|2021. 04. 12.

Advanced MRI Techniques and Applications인용 수 4

한 줄 요약

이 논문은 다중 공간 주파수에서 실수부 및 허수부 MR 영상 성분을 처리함으로써 가속화된 병렬 MRI 재구성의 새로운 딥러닝 방법인 이중 옥타브 컨볼루션(Dual-OctConv)을 제안한다. 특징을 고주파 및 저주파 대역으로 분해하고 그룹 내외 간의 정보 교환을 가능하게 함으로써 공간 중복성을 감소시키면서 다중 척도의 맥락적 표현을 포착하여, 낮은 계산 비용으로도 최신 기술 수준의 재구성 품질을 달성한다.

ABSTRACT

Magnetic resonance (MR) image acquisition is an inherently prolonged process, whose acceleration by obtaining multiple undersampled images simultaneously through parallel imaging has always been the subject of research. In this paper, we propose the Dual-Octave Convolution (Dual-OctConv), which is capable of learning multi-scale spatial-frequency features from both real and imaginary components, for fast parallel MR image reconstruction. By reformulating the complex operations using octave convolutions, our model shows a strong ability to capture richer representations of MR images, while at the same time greatly reducing the spatial redundancy. More specifically, the input feature maps and convolutional kernels are first split into two components (i.e., real and imaginary), which are then divided into four groups according to their spatial frequencies. Then, our Dual-OctConv conducts intra-group information updating and inter-group information exchange to aggregate the contextual information across different groups. Our framework provides two appealing benefits: (i) it encourages interactions between real and imaginary components at various spatial frequencies to achieve richer representational capacity, and (ii) it enlarges the receptive field by learning multiple spatial-frequency features of both the real and imaginary components. We evaluate the performance of the proposed model on the acceleration of multi-coil MR image reconstruction. Extensive experiments are conducted on an {in vivo} knee dataset under different undersampling patterns and acceleration factors. The experimental results demonstrate the superiority of our model in accelerated parallel MR image reconstruction. Our code is available at: github.com/chunmeifeng/Dual-OctConv.

연구 동기 및 목표

• 표준 컨볼루션의 다중 척도 및 다중 주파수 표현 능력 부족으로 인한 복소수 MR 데이터 처리의 한계를 해결한다.
• 기존 복소수 컨볼루션 방법에서의 높은 공간 중복성과 제한된 수신 필드 문제를 극복한다.
• 다양한 과도 샘플링 패턴과 가속도 요인 하에서 재구성 정확도와 강건성을 향상시킨다.
• 딥 뉴럴 네트워크 아키텍처에 다중 주파수 처리를 통합하여 다중 코ils MR 영상 재구성의 효율적이고 종단 간(end-to-end) 학습을 가능하게 한다.

제안 방법

• 입력 특징 맵과 컨볼루션 커널을 실수부 및 허수부로 분해한다.
• 각 성분(실수/허수)을 공간 주파수 대역(고주파 및 저주파 대역) 기반으로 네 그룹으로 분할한다.
• 각 주파수 그룹 내에서 특징을 정밀화하기 위해 그룹 내 정보 업데이트를 수행한다.
• 다른 주파수 대역 간의 정보 교환을 통해 맥락 정보를 집약한다.
• 학습 가능한 융합 메커니즘을 통해 다중 공간 주파수에서 실수부 및 허수부 성분을 융합한다.
• 다중 척도 및 다중 주파수 아키텍처를 활용하여 효과적 수신 필드를 확장하면서도 공간 중복성을 감소시킨다.

실험 결과

연구 질문

• RQ1 다중 척도 공간 주파수 표현 학습이 가속화된 병렬 MRI 재구성 품질을 향상시킬 수 있는가?
• RQ2 다양한 주파수 대역에서 실수부 및 허수부 성분을 함께 처리하는 것이 재구성 정확도와 잡음 감소에 어떤 영향을 미치는가?
• RQ3 복소수 MRI 재구성에서 성능과 계산 효율성의 균형을 맞추기 위한 최적의 공간 주파수 비율(α)은 무엇인가?
• RQ4 표준 복소수 컨볼루션 및 일반 컨볼루션과 비교할 때 Dual-OctConv의 재구성 정밀도 및 FLOPs는 어떻게 다른가?
• RQ5 제안된 방법은 1D 균일, 2D 레이디얼, 2D 무작위와 같은 다양한 과도 샘플링 패턴과 가속도 요인에 대해 일반화 가능한가?

주요 결과

• Dual-OctConv는 모든 테스트된 가속도 요인과 과도 샘플링 패턴에서 뛰어난 재구성 성능을 달성하였으며, 기준 모델 대비 최대 1.2 dB의 PSNR 향상을 보였다.
• α = 0.125일 때 SSIM가 0.948로 최고 수준을 기록하여 다중 주파수 표현과 정보 유지 간 최적의 균형을 이룬 것으로 나타났다.
• α = 0.125일 때 기준 복소수 컨볼루션(α = 0) 대비 FLOPs를 38% 감소시켰으며, PSNR 및 SSIM 향상도 동시에 달성하였다.
• 제거 실험 결과, Dual-OctConv는 표준 복소수 컨볼루션(α = 0)보다 뚜렷이 뛰어난 성능을 보였으며, 특히 SSIM 측면에서 다중 주파수 학습의 유용성을 입증하였다.
• 10개의 Dual-OctConv 블록(bn = 10)을 사용할 경우 최고의 재구성 정확도를 달성하였고, 이 수치를 초과하면 성능 향상가 소진되며 계산 비용은 증가하였다.
• 1D 균일, 2D 레이디얼, 2D 무작위 마스크 등 다양한 과도 샘플링 패턴에서도 강력한 강건성을 보였으며, 재구성 영상에서 최소한의 잡음과 뚜렷한 구조적 세부 정보를 유지하였다.