[논문 리뷰] ReconFormer: Accelerated MRI Reconstruction Using Recurrent Transformer

Pengfei Guo, Yiqun Mei외 3명|arXiv (Cornell University)|2022. 01. 23.

Advanced MRI Techniques and Applications인용 수 6

한 줄 요약

ReconFormer는 반복형 피라미드 트랜스포머 레이어(RPTL)를 사용하여 다중 척도 특징과 반복 상태 간의 깊은 특징 상관관계를 동시에 모델링하는 경량 반복 트랜스포머 아키텍처를 제안한다. 이는 더 적은 파라미터로도 고가속도 요건(예: 8×)에서 최신 기술 수준의 영상 품질을 달성하며, OUCR보다 HPKS에서 0.9 dB, fastMRI에서 0.3 dB 향상된 성능을 보인다.

ABSTRACT

Accelerating magnetic resonance image (MRI) reconstruction process is a challenging ill-posed inverse problem due to the excessive under-sampling operation in k-space. In this paper, we propose a recurrent transformer model, namely ReconFormer, for MRI reconstruction which can iteratively reconstruct high fertility magnetic resonance images from highly under-sampled k-space data. In particular, the proposed architecture is built upon Recurrent Pyramid Transformer Layers (RPTL), which jointly exploits intrinsic multi-scale information at every architecture unit as well as the dependencies of the deep feature correlation through recurrent states. Moreover, the proposed ReconFormer is lightweight since it employs the recurrent structure for its parameter efficiency. We validate the effectiveness of ReconFormer on multiple datasets with different magnetic resonance sequences and show that it achieves significant improvements over the state-of-the-art methods with better parameter efficiency. Implementation code will be available in https://github.com/guopengf/ReconFormer.

연구 동기 및 목표

• k-공간의 부족 샘플링으로 인해 악화되는 불안정한 역문제로 간주되는 고속 MRI 재구성 문제를 해결한다.
• 기존 압축 감지 및 CNN 기반 방법의 한계, 즉 하이퍼파rameter에 민감하거나 장거리 의존성 모델링이 어려운 점을 극복한다.
• 다중 척도 특징과 장거리 상관관계를 효과적으로 포착할 수 있는 파라미터 효율적인 딥 러닝 기반 MRI 재구성 모델을 개발한다.
• 대규모 데이터셋에서의 사전 훈련 없이도 최소한의 파라미터로 최신 기술 수준의 재구성 품질을 달성한다.

제안 방법

• 모든 아키텍처 유닛에서 다중 척도 특징을 모델링하기 위해 각 트랜스포머 레이어 내부에 국소 피라미드 구조를 통합한 반복형 피라미드 트랜스포머 레이어(RPTL)를 제안한다.
• 고해상도 세부 정보를 유지하면서도 반복 상태 간의 깊은 특징 상관관계를 가능하게 하기 위해 글로벌 컬럼형 트랜스포머 설계를 채택한다.
• 재구성 결과를 반복적으로 개선하기 위해 세 개의 반복 유닛(RU1, RU2, RU3)을 도입하고, 굵은 해상도에서 세밀한 해상도로의 예측을 융합하기 위한 개선 모듈(RM)을 설계한다.
• 수집된 k-공간 데이터와 일치하는 재구성 영상을 보장하기 위해 최종에 미분 가능한 데이터 일관성(DC) 레이어를 적용한다.
• 공간적 위치 간의 장거리 의존성을 모델링하기 위해 다중 헤드 어텐션을 활용한 자기 어텐션 메커니즘을 사용한다.
• 정확도와 계산 효율성의 균형을 위해 반복 재구성에 고정 길이 T=5로 편향(unrolling)을 적용한다.

실험 결과

연구 질문

• RQ1 반복 트랜스포머 아키텍처는 MRI 재구성에서 다중 척도 특징과 장거리 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 각 트랜스포머 레이어 내부에 피라미드 구조를 통합함으로써 계층적 또는 컬럼형 설계에 비해 특징 표현 능력이 향상되는가?
• RQ3 공유 파라미터를 가진 반복 설계는 파라미터 효율성을 유지하면서도 높은 성능을 달성할 수 있는가?
• RQ4 고가속도 요건에서 최신 기술 수준의 방법들과 비교해 성능 및 강인성 측면에서 어떻게 성과를 내는가?
• RQ5 대규모 데이터셋에서의 사전 훈련 없이 성능 저하가 발생하는가, 그리고 다양한 MRI 시퀀스와 데이터셋 간에 일반화 능력을 갖추고 있는가?

주요 결과

• 8× 가속도에서 HPKS 데이터셋에서 ReconFormer는 PSNR 40.09, SSIM 0.9788을 기록하여 OUCR보다 PSNR에서 0.9 dB 향상된 최고 성능을 달성했다.
• 더 도전적인 fastMRI 데이터셋에서 ReconFormer는 8× 가속도에서 PSNR 33.04 dB, SSIM 0.9210을 기록했으며, OUCR보다 PSNR에서 0.3 dB 향상된 성능을 보였다.
• 절단 실험을 통해 각 반복 유닛과 RPTL 구성 요소가 성능 향상에 점진적으로 기여하며, RPTL는 모든 가속도 요건에서 일관된 성능 향상을 제공함을 확인했다.
• 높은 가속도 요건에서 뚜렷한 성능 향상이 나타나, 심한 부족 샘플링에 대한 강한 강인성을 보였다.
• 다양한 MRI 시퀀스와 데이터셋에서 뛰어난 성능 유지를 유지하며, 사전 훈련 없이도 일반화 능력을 입증했다.
• 모든 비교 방법 중에서 가장 적은 파라미터로 최신 기술 수준의 성능을 달성하여, 파라미터 효율성의 우수성을 입증했다.