[논문 리뷰] $Σ$-net: Systematic Evaluation of Iterative Deep Neural Networks for Fast Parallel MR Image Reconstruction

Kerstin Hammernik, Jo Schlemper외 4명|arXiv (Cornell University)|2019. 12. 18.

Advanced MRI Techniques and Applications참고 문헌 73인용 수 18

한 줄 요약

이 논문은 fastMRI 무릎 데이터셋을 사용하여 가속화된 병렬 MRI 재구성에서 반복적 딥 뉴럴 네트워크를 평가하기 위한 체계적인 프레임워크인 Σ-net을 제안한다. 데이터 일致성 레이어, 손실 함수, 준지도 학습 미세조정, 모델 앙상블을 비교하여, 원시 k-space와 이미지 도메인 학습을 모두 활용함으로써 향상된 시각적 품질과 균형 잡힌 정량적 지표를 달성하는 앙성 모델이 최신 기술 수준의 성능을 달성함을 보여준다.

ABSTRACT

Purpose: To systematically investigate the influence of various data consistency layers, (semi-)supervised learning and ensembling strategies, defined in a $Σ$-net, for accelerated parallel MR image reconstruction using deep learning. Theory and Methods: MR image reconstruction is formulated as learned unrolled optimization scheme with a Down-Up network as regularization and varying data consistency layers. The different architectures are split into sensitivity networks, which rely on explicit coil sensitivity maps, and parallel coil networks, which learn the combination of coils implicitly. Different content and adversarial losses, a semi-supervised fine-tuning scheme and model ensembling are investigated. Results: Evaluated on the fastMRI multicoil validation set, architectures involving raw k-space data outperform image enhancement methods significantly. Semi-supervised fine-tuning adapts to new k-space data and provides, together with reconstructions based on adversarial training, the visually most appealing results although quantitative quality metrics are reduced. The $Σ$-net ensembles the benefits from different models and achieves similar scores compared to the single state-of-the-art approaches. Conclusion: This work provides an open-source framework to perform a systematic wide-range comparison of state-of-the-art reconstruction approaches for parallel MR image reconstruction on the fastMRI knee dataset and explores the importance of data consistency. A suitable trade-off between perceptual image quality and quantitative scores are achieved with the ensembled $Σ$-net.

연구 동기 및 목표

• 딥 러닝 기반 병렬 MRI 재구성에서 다양한 데이터 일치성 레이어, 손실 함수 및 학습 전략의 영향을 체계적으로 평가하는 것.
• 공개된 fastMRI 데이터셋을 기반으로 표준화되고 오픈소스인 평가 프레임워크를 제공함으로써 MRI 재구성 연구의 재현성 격차를 해소하는 것.
• 정량적 지표에 잠재적인 상충 관계가 있음에도 불구하고, 적대적 학습과 준지도 미세조정이 시각적 이미지 품질을 향상시키는지 조사하는 것.
• 다양한 아키텍처의 강점을 조합하여 강력하고 고품질의 재구성을 달성하는 데에 모델 앙성의 이점을 탐색하는 것.
• RSS 기반 평가에서 내재된 노이즈 편향을 피하기 위해 민감도 가중 카메라 조합을 기준으로 사용함으로써 공정한 비교를 제공하는 것.

제안 방법

• 다양한 데이터 일치성(DC) 레이어를 갖는 다운업 네트워크(DUN)를 정규화로 사용하여 MRI 재구성을 학습된 풀어내기 최적화 방식으로 공식화한다.
• 두 가지 네트워크 유형을 사용한다: 민감도 네트워크(명시적 코ils 민감도 맵)와 병렬 코일 네트워크(암시적 코일 조합).
• 다양한 손실 함수를 도입한다: 콘텐츠 손실(ℓ₁, SSIM), GAN 기반 적대적 손실, 그리고 레이블이 없는 k-space 데이터를 사용한 준지도 미세조정 기법.
• 다양한 아키텍처의 예측을 조합하여 모델 앙성 기법을 적용함으로써 정확성과 시각적 품질을 향상시킨다.
• 가속도 인자 R=4 및 R=8에서 후행적 과도표본화를 적용한 fastMRI 무릎 데이터셋을 사용하며, 민감도 가중 기반 재구성 결과를 기준으로 평가한다.
• 모든 모델을 동일한 체계적 설정 하에 학습하여 아키텍처 및 구성 요소 간의 공정한 비교를 보장한다.

실험 결과

연구 질문

• RQ1 k-space 도메인과 이미지 도메인 간의 서로 다른 데이터 일치성 레이어(예: k-space vs. image domain)는 딥 러닝 기반 병렬 MRI 재구성의 품질에 어떤 영향을 미치는가?
• RQ2 적대적 손실과 콘텐츠 기반 손실은 시각적 이미지 품질을 얼마나 향상시키며, 정량적 지표와의 상충 관계는 어떠한가?
• RQ3 레이블이 없는 k-space 데이터를 활용한 준지도 미세조정은 새로운 코ils 표본화 패턴에 적응하고 일반화 능력 및 성능을 향상시키는가?
• RQ4 모델 앙성은 다양한 아키텍처의 강점을 효과적으로 조합하여 향상되고 균형 잡힌 성능을 달성하는가?
• RQ5 민감도 가중 카메라 조합을 기준으로 사용할 경우, RSS 기반 평가에 비해 다중 코일 MRI에서 공정한 평가가 어떻게 향상되는가?

주요 결과

• 원시 k-space 데이터를 사용하는 아키텍처는 fastMRI 다중 코일 검증 세트에서 정량적 및 정성적 성능 모두에서 이미지 강화 기법보다 뚜렷이 뛰어나다.
• 준지도 미세조정은 레이블이 없는 데이터가 제한된 상황에서 새로운 k-space 표본화 패턴에 적응하고 강건성을 향상시킨다.
• 적대적 학습은 가장 시각적으로 매력적인 재구성 결과를 생성하지만, 약간 낮은 정량적 점수(예: 낮은 SSIM 및 PSNR)를 초래한다.
• 최종 Σ-net 앙성은 최신 기술 수준의 방법과 유사한 성능을 달성하며, 높은 정량적 점수와 뛰어난 시각적 품질을 균형 있게 확보한다.
• 민감도 가중 기반 재구성은 RSS에 비해 노이즈 편향을 줄여 다중 코일 모델 평가의 공정성을 높인다.
• 모델 앙성은 개별 모델의 약점을 효과적으로 보완하여 다양한 해부학적 및 대조 변화에 걸쳐 일관되고 신뢰할 수 있는 성능을 제공한다.