[논문 리뷰] A Segmentation-aware Deep Fusion Network for Compressed Sensing MRI

Zhiwen Fan, Liyan Sun외 4명|arXiv (Cornell University)|2018. 04. 04.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 7

한 줄 요약

이 논문은 압축 감쇠 MRI를 위한 세분화 인식 딥 퓨전 네트워크인 SADFN을 제안한다. 이는 의미 세분화 레이블을 활용하여 재구성 정확도를 향상시킨다. 다층 세분화 특징을 교차 작업 및 교차 레이어 특징 퓨전을 통해 재구성 U-Net에 융합함으로써 역함수 매핑을 단순화하여, MRBrainS 벤치마크에서 최신 기술 수준의 성능을 달성하며, 후행 세분화 정확도가 향상된다.

ABSTRACT

Compressed sensing MRI is a classic inverse problem in the field of computational imaging, accelerating the MR imaging by measuring less k-space data. The deep neural network models provide the stronger representation ability and faster reconstruction compared with "shallow" optimization-based methods. However, in the existing deep-based CS-MRI models, the high-level semantic supervision information from massive segmentation-labels in MRI dataset is overlooked. In this paper, we proposed a segmentation-aware deep fusion network called SADFN for compressed sensing MRI. The multilayer feature aggregation (MLFA) method is introduced here to fuse all the features from different layers in the segmentation network. Then, the aggregated feature maps containing semantic information are provided to each layer in the reconstruction network with a feature fusion strategy. This guarantees the reconstruction network is aware of the different regions in the image it reconstructs, simplifying the function mapping. We prove the utility of the cross-layer and cross-task information fusion strategy by comparative study. Extensive experiments on brain segmentation benchmark MRBrainS validated that the proposed SADFN model achieves state-of-the-art accuracy in compressed sensing MRI. This paper provides a novel approach to guide the low-level visual task using the information from mid- or high-level task.

연구 동기 및 목표

• 기존의 딥 러닝 기반 CS-MRI 방법들이 MRI 세분화 레이블로부터의 고수준 의미적 감독을 간과하는 한계를 해결하기 위해.
• 다른 조직 유형(GM, WM, CSF)의 의미 정보를 저수준 이미지 재구성 과정에 통합하여 재구성 정확도를 향상시키기 위해.
• 세분화 레이블에 캡처된 조직 특화 강도 분포를 활용하여 이미지 재구성의 기능 매핑을 단순화하기 위해.
• 재구성 품질이 후행 세분화 작업에 미치는 영향을 평가하여 의미 인식 재구성의 가치를 입증하기 위해.
• 세분화에서 재구성으로 지식을 전이하는 새로운 교차 작업 융합 프레임워크를 수립하여 전체 의료 영상 처리 파이프라인을 향상시키기 위해.

제안 방법

• 이중 스트림 아키텍처를 제안: 조직 레이블링을 위한 세분화 네트워크와 이미지 복구를 위한 재구성 U-Net이며, 교차 작업 특징 융합을 수행한다.
• 다중 레이어 특징 집약(MLFA)을 적용하여 세분화 네트워크의 여러 레이어에서 특징을 결합함으로써 계층적 의미 정보를 유지한다.
• 집약된 세분화 특징을 재구성 네트워크의 각 잔차 블록에 주입하는 특징 융합 전략을 도입하여 영역 인식 학습을 가능하게 한다.
• 재구성 및 세분화 헤드를 동시에 끝에서 끝까지 훈련하는 공동 훈련 파rag램을 사용하며, 세분화 헤드가 재구성 네트워크에 감독을 제공한다.
• 조직 특화 강도 분포의 통계적 성질(예: GM, WM, CSF에서 단일 모드)을 활용하여 재구성 함수 매핑을 단순화한다.
• 재구성 U-Net에서 다중 척도 스킵 연결 설계를 적용하여 세부 구조를 유지하면서 의미 지침의 이점을 얻는다.

실험 결과

연구 질문

• RQ1 MRI 세분화 레이블로부터의 고수준 의미 감독이 압축 감쇠 MRI 재구성의 정확도를 향상시킬 수 있는가?
• RQ2 레이어 간 및 작업 간 특징 융합은 다양한 압축 감쇠 패턴에서 재구성 품질과 일반화에 어떤 영향을 미치는가?
• RQ3 세분화 인식 특징을 통합함으로써 이미지 재구성 함수 매핑의 복잡성이 감소하는가?
• RQ4 기존의 표준 재구성 방법에 비해 제안된 방법이 후행 세분화 성능을 얼마나 향상시키는가?
• RQ5 제안된 SADFN 모델이 기존의 딥 러닝 기반 CS-MRI 방법에 비해 재구성 정확도와 추론 속도 사이의 더 나은 트레이드오���을 달성할 수 있는가?

주요 결과

• SADFN은 MRBrainS 벤치마크에서 최신 기술 수준의 재구성 성능를 달성하여, 기존의 딥 러닝 기반 CS-MRI 모델보다 PSNR 및 SSIM에서 뛰어난 성능을 보였다.
• 20% 압축 감쇠 조건에서 테스트 세트에서 평균 PSNR 32.15 dB, SSIM 0.921을 달성하였으며, 두 번째로 우수한 방법(Liu[26])에 비해 PSNR에서 0.45 dB 높은 성능을 보였다.
• 후행 세분화 작업에서 SADFN은 회색 물질(GM)에 대해 85.76%, 흰 물질(WM)에 대해 81.29%, 뇌척수액(CSF)에 대해 80.08%의 최고의 Dice 계수를 기록하여, GM 및 WM에서 전체 샘플 입력 기준선을 초월하였다.
• 재구성 오차 지도에서 SADFN은 더 적은 잡음과 더 나은 세부 구조 보존, 특히 조직 경계에서 뛰어난 성능를 보였다.
• 모델는 강력한 일반화 능력을 보이며, 20% 카르테시안 및 20% 랜덤 압축 감쇠 패턴 모두에서 최적의 성능를 달성하였다.
• 일부 최신 기술 수준 모델보다 略로 긴 추론 시간(0.06초)을 가지나, 재구성 품질과 계산 효율성 사이에서 가장 균형 잡힌 성능를 제공하였다.