Skip to main content
누빈트
QUICK REVIEW

[논문 리뷰] Exploring Separable Attention for Multi-Contrast MR Image Super-Resolution

Chun-Mei Feng, Yunlu Yan|arXiv (Cornell University)|2021. 09. 03.
Advanced Image Processing Techniques참고 문헌 30인용 수 14
한 줄 요약

이 논문은 보조 대조를 활용하여 고강도 및 저강도 영역 복원을 향상시키는 다중 대조 MR 영상 초해상도 분석을 위한 새로운 분리 가능 주의망(SANet)을 제안한다. 고강도 우선 및 저강도 분리 주의 메커니즘을 도입함으로써 SANet은 해부학적 세부 정보 복원과 에지 유지 성능을 향상시키며, fastMRI 및 생체 내 데이터셋에서 최신 기술 수준의 성능을 달성하여 PSNR 및 SSIM 점수가 뛰어나다.

ABSTRACT

Super-resolving the Magnetic Resonance (MR) image of a target contrast under the guidance of the corresponding auxiliary contrast, which provides additional anatomical information, is a new and effective solution for fast MR imaging. However, current multi-contrast super-resolution (SR) methods tend to concatenate different contrasts directly, ignoring their relationships in different clues, e.g., in the high-intensity and low-intensity regions. In this study, we propose a separable attention network (comprising high-intensity priority attention and low-intensity separation attention), named SANet. Our SANet could explore the areas of high-intensity and low-intensity regions in the "forward" and "reverse" directions with the help of the auxiliary contrast, while learning clearer anatomical structure and edge information for the SR of a target-contrast MR image. SANet provides three appealing benefits: (1) It is the first model to explore a separable attention mechanism that uses the auxiliary contrast to predict the high-intensity and low-intensity regions regions, diverting more attention to refining any uncertain details between these regions and correcting the fine areas in the reconstructed results. (2) A multi-stage integration module is proposed to learn the response of multi-contrast fusion at multiple stages, get the dependency between the fused representations, and boost their representation ability. (3) Extensive experiments with various state-of-the-art multi-contrast SR methods on fastMRI and clinical extit{in vivo} datasets demonstrate the superiority of our model.

연구 동기 및 목표

  • 기존의 다중 대조 초해상도 방법들이 고강도 및 저강도 영역에서 상호 의존성을 모델링하지 않고 대조를 단순히 연결함으로써 발생하는 한계를 해결하기 위해.
  • 보조 MR 대조에서 유용한 상호 보완적 해부학적 정보를 명시적으로 모델링하여 초해상도 품질을 향상시키기 위해.
  • 주목적 영역 간 불확실한 경계를 주의 기반 특징 정밀 조정을 통해 개선하는 메커니즘 개발을 위해.
  • 네트워크 단계 간 융합 의존성을 캡처하는 다단계 통합 모듈을 통해 표현 학습을 향상시키기 위해.
  • 최소한의 계산 오버헤드로 높은 성능을 달성하면서도 파라미터 효율적인 초해상도를 실현하기 위해.

제안 방법

  • 고강도 우선 및 저강도 분리 경로로 주의를 분리하여 강도 영역 간 불확실한 경계를 정밀 조정하는 분리 가능 주의 메커니즘을 제안한다.
  • 다중 네트워크 깊이에서 다중 대조 융합의 특징 반응을 학습하고 향상시키는 다단계 통합 모듈을 도입한다.
  • 목표 대조와 보조 대조의 기여를 균형 잡기 위해 학습 가능한 주의 가중치 비율(α)을 사용하며, 최적 성능은 α = 0.7에서 달성된다.
  • 추론 수렴 속도 향상과 안정적인 학습을 확보하기 위해 추론 검증 실험에서 L1 손실 함수를 사용한다.
  • 조정 가능한 잔차 그룹(2~6개)을 갖춘 잔차 네트워크를 설계하였으며, 6개 그룹에서 최적 성능을 보이며 PSNR 및 SSIM이 안정된다.
  • 공유된 특징 추출 및 대조별 특화 정밀 조정 브랜치를 갖춘 점진적 학습 전략을 적용한다.
Figure 1: Comparison between single-contrast method SMORE [ 9 ] ), multi-contrast method Lyu et al. [ 10 ] , and our SANet on in vivo datasets. We effectively reconstruct the target contrast image by exploring the complementary information between the clear anatomical structure and boundary details
Figure 1: Comparison between single-contrast method SMORE [ 9 ] ), multi-contrast method Lyu et al. [ 10 ] , and our SANet on in vivo datasets. We effectively reconstruct the target contrast image by exploring the complementary information between the clear anatomical structure and boundary details

실험 결과

연구 질문

  • RQ1고강도 및 저강도 영역을 구분하는 분리 가능 주의 메커니즘이 다중 대조 MR 초해상도에 기여하는가?
  • RQ2보조 대조 정보의 융합은 미세한 해부학적 구조 및 에지 복원에 어떤 영향을 미치는가?
  • RQ3주의 메커니즘에서 목표 대조와 보조 대조의 기여 비율을 최적화하면 어떻게 되는가?
  • RQ4다중 대조 특징의 다단계 융합은 표현 학습 및 초해상도 성능 향상에 어떻게 기여하는가?
  • RQ5기존의 EDSR 기반 모델 대비 더 적은 파라미터로도 제안된 방법이 더 뛰어난 성능을 달성하는가?

주요 결과

  • SANet는 2배 확대 시 SMS 데이터셋에서 PSNR 42.10 dB, SSIM 0.997을 기록하여 기준 모델을 능가한다.
  • 최적의 주의 가중치 비율 α = 0.7에서 최고의 PSNR 및 SSIM 성능를 기록하며, α = 0.3 이하일 경우 성능 저하가著명하게 발생한다.
  • 6개의 잔차 그룹에서 성능가 평형에 도달하며, PSNR 및 SSIM가 안정화되어 과적합 없이 충분한 능력을 확보함을 시사한다.
  • SANet는 6개의 잔차 그룹을 사용할 경우 뿐만 아니라 총 11M 파라미터만을 요구하여 EDSR(43M) 및 SMORE(두 개의 EDSR 브랜치)보다 훨씬 적은 파라미터로 더 뛰어난 성능을 달성한다.
  • 목표 및 보조 대조를 동시에 초해상도 처리할 경우, 목표 영역에 대해 PSNR 31.72 dB, SSIM 0.700을 기록하였고, 보조 영역에 대해서는 PSNR 32.3 dB, SSIM 0.705를 기록하여 강력한 다중 대조 융합 성능를 입증한다.
  • 절단 실험 결과 L2 손실 함수와 유사한 성능를 기록하면서도 수렴 속도가 더 빠르므로 최종 모델에서 L1 손실 함수의 사용이 타당하다고 확인되었다.
Figure 2: Illustration of our SANet framework . Our model is made up of two branches: a target contrast branch and an auxiliary contrast branch. We input the features $\mathbf{x}_{aux}$ and $\mathbf{x}_{tar}$ of two contrasts to the residual groups $\mathcal{R}_{aux}^{l}$ and $\mathcal{R}_{tar}^{l}$
Figure 2: Illustration of our SANet framework . Our model is made up of two branches: a target contrast branch and an auxiliary contrast branch. We input the features $\mathbf{x}_{aux}$ and $\mathbf{x}_{tar}$ of two contrasts to the residual groups $\mathcal{R}_{aux}^{l}$ and $\mathcal{R}_{tar}^{l}$

더 나은 연구,지금 바로 시작하세요

논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.

카드 등록 없음 · 무료 플랜 제공

이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.