[논문 리뷰] $Σ$-net: Ensembled Iterative Deep Neural Networks for Accelerated Parallel MR Image Reconstruction

Jo Schlemper, Chen Qin외 3명|arXiv (Cornell University)|2019. 12. 11.

Advanced MRI Techniques and Applications참고 문헌 15인용 수 9

한 줄 요약

이 논문은 병렬 MRI 재구성의 가속화를 위한 앙상블 반복적 딥러닝 프레임워크인 Σ-net을 제안한다. 이 프레임워크는 병렬 코일 네트워크(PCNs)와 감도 네트워크(SNs)라는 다양한 네트워크 아키텍처를 결합하고, 다양한 데이터 일致성 메커니즘을 통합한다. 지도학습 및 준지도학습 미세조정을 통해 훈련된 모델의 결과를 융합함으로써, 감도 가중 기준과 대비를 맞추기 위해 스타일 전이 레이어를 도입함으로써 최신의 SSIM 점수를 달성하면서도 시각적 품질과 정량적 성능 간의 균형을 유지한다.

ABSTRACT

We explore an ensembled $Σ$-net for fast parallel MR imaging, including parallel coil networks, which perform implicit coil weighting, and sensitivity networks, involving explicit sensitivity maps. The networks in $Σ$-net are trained in a supervised way, including content and GAN losses, and with various ways of data consistency, i.e., proximal mappings, gradient descent and variable splitting. A semi-supervised finetuning scheme allows us to adapt to the k-space data at test time, which, however, decreases the quantitative metrics, although generating the visually most textured and sharp images. For this challenge, we focused on robust and high SSIM scores, which we achieved by ensembling all models to a $Σ$-net.

연구 동기 및 목표

• 고정량 성능(SSIM, NMSE)을 확보하면서도 시각적 품질을 유지하는 가속화된 병렬 MRI 재구성의 과제를 해결한다.
• 딥러닝 기반 MRI 재구성에서 정량적 지표와 시각적 인식 간의 괴리를 해결한다.
• 다양한 아키텍처와 훈련 전략을 가진 다수의 모델을 앙상블하여 복원력 향상을 도모한다.
• RSS 기반 평가와 감도 가중 기준 간의 대trast 불일치 문제를 스타일 전이 레이어를 통해 완화한다.
• 초기 재구성 결과를 사전으로 사용하는 준지도학습 미세조정 기반의 테스트 시점 k-space 데이터 적응 기능을 제공하면서도 정량적 점수를 유지한다.

제안 방법

• 병렬 코일 네트워크(PCNs)를 사용해 암묵적 코일 가중치를 처리하고, 감도 네트워크(SNs)를 사용해 명시적 코일 감도 지도를 추정한다.
• 세 가지 데이터 일치 전략을 구현한다: 근접 사상(Proximal Mapping, PM), 기울기 하강(Gradient Descent, GD), 변수 분할(Variable Splitting, VS)으로, 풀어내기 최적화 기반의 통합 구조에 통합한다.
• 해부학적 영역에 집중하기 위해 전경 마스크를 포함한 SSIM 및 ℓ₁ 손실의 조합을 사용해 지도학습을 수행한다.
• 텍스처와 선명도 향상을 위해 선택된 모델에 최소 제곱 생성적 적대적 네트워크(LSGAN) 손실을 적용해 미세조정한다.
• 초기 재구성 결과를 사전으로 사용하여 데이터 일치 오차를 최소화하면서도 SSIM을 유지하는 준지도학습 미세조정 기법을 적용한다.
• SN 출력 결과를 RSS 유사 대비로 매핑하기 위해 스타일 전이 레이어(STL)를 도입하여 챌린지의 평가 기준과의 일치도를 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 아키텍처와 훈련 전략을 가진 다수의 딥러닝 모델을 앙상블함으로써 가속화된 병렬 MRI 재구성에서 복원력과 정량적 성능 향상이 가능한가?
• RQ2 준지도학습 미세조정은 MRI 재구성에서 시각적 품질과 정량적 지표 간에 어떤 영향을 미치는가?
• RQ3 RSS 기반 평가와 감도 가중 기준 간의 대비 불일치가 모델 성능에 어느 정도 악영향을 미치는가?
• RQ4 스타일 전이 레이어가 재구성 품질을 손상시키지 않으면서도 RSS 평가 기준과 감도 통합 기준 간 격차를 효과적으로 메울 수 있는가?
• RQ5 SN에서의 명시적 코일 감도 지도 사용이 PCN의 암묵적 코일 가중치보다 더 높은 성능을 내는가? 그리고 이 둘을 앙상블했을 때의 성능 비교는 어떠한가?

주요 결과

• 앙상블된 Σ-net는 fastMRI 검증 세트에서 가장 높은 SSIM 점수를 기록했으며, R=4일 때 0.9205 ± 0.1234, R=8일 때 0.8917 ± 0.1317의 점수를 기록했다.
• 준지도학습 미세조정을 거친 GD-SN-FT 모델은 가장 선명하고 텍스처가 뚜렷한 영상을 생성했지만, SSIM과 NMSE 점수가 가장 낮아, 시각적 품질과 정량적 지표 간의 상충 관계를 보였다.
• PM-PCN 모델은 R=4일 때 NMSE가 0.0055 ± 0.0118로 가장 낮았고, R=8일 때는 0.0091 ± 0.0150로 나타나 강력한 정량적 성능을 입증했다.
• 스타일 전이 레이어를 통해 SN 출력 결과와 RSS 기준 간의 대비 불일치가 효과적으로 감소했으며, 챌린지의 평가 기준과의 일치도 향상이 관찰되었다.
• 특히 30% SN, 20% PCN, 50% SN-FT로 구성된 모델 앙상블이 모든 지표에서 가장 뛰어난 복원력과 최고의 성능을 보였다.
• 준지도학습 미세조정은 시각적 텍스처와 노이즈 특성을 향상시켰지만, 정량적 점수는 약간 저하되어 인간의 인지와 표준 지표 간의 괴리를 재확인했다.