[논문 리뷰] Joint CS-MRI Reconstruction and Segmentation with a Unified Deep Network

Liyan Sun, Zhiwen Fan외 3명|arXiv (Cornell University)|2018. 05. 06.

Advanced MRI Techniques and Applications인용 수 5

한 줄 요약

이 논문은 압축 측정(MRI) 재구성과 MRI 분할을 함께 수행하는 통합된 딥 러닝 프레임워크인 SegNetMRI를 제안한다. 이는 재구성 및 분할 브랜치를 통합한 계단식 블록을 갖춘 공유 인코더-디코더 아키텍처를 기반으로 하며, 종단간 훈련과 특징 공유를 통해 작업 간 상호 정규화를 가능하게 하여 재구성 정확도(PSNR: 34.27 dB)와 분할 성능(Dice: 86.38%)을 모두 향상시킨다. 이는 별도의 재구성 및 분할 파ipeline보다 우수한 성능을 보인다.

ABSTRACT

The need for fast acquisition and automatic analysis of MRI data is growing in the age of big data. Although compressed sensing magnetic resonance imaging (CS-MRI) has been studied to accelerate MRI by reducing k-space measurements, in current CS-MRI techniques MRI applications such as segmentation are overlooked when doing image reconstruction. In this paper, we test the utility of CS-MRI methods in automatic segmentation models and propose a unified deep neural network architecture called SegNetMRI which we apply to the combined CS-MRI reconstruction and segmentation problem. SegNetMRI is built upon a MRI reconstruction network with multiple cascaded blocks each containing an encoder-decoder unit and a data fidelity unit, and MRI segmentation networks having the same encoder-decoder structure. The two subnetworks are pre-trained and fine-tuned with shared reconstruction encoders. The outputs are merged into the final segmentation. Our experiments show that SegNetMRI can improve both the reconstruction and segmentation performance when using compressive measurements.

연구 동기 및 목표

• 기존의 CS-MRI 및 분할 방법들이 재구성과 분할을 독립적인 작업으로 간주하는 격차를 해결하기 위해.
• 압축 측정 하에 MRI 재구성과 분할을 공동으로 최적화하는 통합된 딥 신경망을 개발하기 위해.
• 양쪽 하위망 간 공유된 인코더 특징을 통해 재구성과 분할 간 상호 정규화를 가능하게 하기 위해.
• 일반적으로 현재의 CS-MRI 파ipeline에서 간과되는, 과도하게 샘플링된 k-공간 데이터에서의 분할 정확도 향상을 위해.
• 공동 학습이 순차적 또는 고립된 접근 방식에 비해 재구성 정밀도와 분할 성능을 모두 향상시킨다는 것을 입증하기 위해.

제안 방법

• SegNetMRI는 MRI 재구성 네트워크(MRN)와 분할 네트워크(MSN)를 조합한 계단식 블록 구조로 구성되며, 각각 인코더-디코더 유닛을 갖는다.
• MRN은 과도하게 샘플링된 k-공간 측정치와의 일致성을 강제하기 위해 데이터 일치 항목을 사용하고, MSN은 의미적 분할을 수행한다.
• 두 네트워크는 동일한 인코더 구성 요소를 공유하여 훈련 중 특징 전달과 상호 정규화를 가능하게 한다.
• 여러 MSN 디코더의 출력은 1×1 컨볼루션을 통해 연결되고 융합되어 최종 분할 결과를 생성한다.
• 모델은 재구성 및 분할 작업에서 별도로 사전 훈련한 후, 공유된 인코더 가중치를 사용해 종단간으로 미세 조정한다.
• 아키텍처는 재구성(ℓ₂)과 분할(교차 엔트로피 또는 Dice) 목적함수를 통합한 통합 손실을 사용한다.

실험 결과

연구 질문

• RQ1 재구성과 분할을 공동으로 학습하는 것이 별개의 작업으로 간주하는 것보다 성능을 향상시키는가?
• RQ2 재구성과 분할 하위망 간에 인코더 특징을 공유하면 일반화 및 정확도가 향상되는가?
• RQ3 1×1 컨볼루션 융합 레이어의 포함이 다중 디코더 출력의 분할 성능에 어떤 영향을 미치는가?
• RQ4 공동 프레임워크가 과도하게 샘플링된 k-공간 데이터에서 재구성 오차를 얼마나 줄이고 분할 Dice 점수를 향상시키는가?
• RQ5 SegNetMRI의 계단식 블록 수를 늘리면 재구성과 분할 성능에 일관되게 향상되는가?

주요 결과

• SegNetMRI는 재구성된 MRI에서 PSNR 34.27 dB를 달성하여 GBRWT(31.80 dB), MRN 5(33.94 dB), Liu et al. (2017)(33.47 dB)를 모두 능가한다.
• 모델은 회색 물질 분할에 대해 86.38%의 Dice 계수를 기록하여 초기 블록에서의 개별 MSN 출력(예: 블록 1에서 75.15%)보다 뚜렷이 뛰어나다.
• 회색 물질 분할의 하우스도르프 거리(HD)는 1.66으로 감소하고, 부피 차이(AVD)는 2.52로 줄어들어 높은 분할 정확도를 나타낸다.
• 공동 훈련 프레임워크는 임상적으로 중요한 조직 영역에서 재구성 오차를 줄이며 잔차 맵을 통해 이를 확인할 수 있다.
• 블록 수(N)를 늘릴수록 재구성 PSNR와 분할 Dice 점수가 향상되며, N=5에서 최고의 성능을 기록한다.
• 1×1 컨볼루션 융합 레이어는 다중 해상도 특징을 효과적으로 융합하여 개별 블록 출력보다 분할 성능을 향상시킨다.