[논문 리뷰] Multi-Contrast MRI Super-Resolution via a Multi-Stage Integration Network

Chun-Mei Feng, Huazhu Fu외 2명|arXiv (Cornell University)|2021. 05. 19.

Advanced Image Processing Techniques참고 문헌 26인용 수 5

한 줄 요약

이 논문은 계층적 특징 단계를 거쳐 다중 대비 MRI 초해상도 분석을 위한 다단계 통합 네트워크인 MINet을 제안한다. 이는 계층적 특징 단계 간의 다중 대비 간 상호의존성을 명시적으로 모델링한다. 유사도 기반 통합 및 주의 메커니즘을 통해 보조 대비에서 유용한 특징을 융합함으로써, MINet은 fastMRI 및 임상 데이터셋에서 기존 방법보다 뛰어난 성능을 달성하여 PSNR와 SSIM을 크게 향상시킨다.

ABSTRACT

Super-resolution (SR) plays a crucial role in improving the image quality of magnetic resonance imaging (MRI). MRI produces multi-contrast images and can provide a clear display of soft tissues. However, current super-resolution methods only employ a single contrast, or use a simple multi-contrast fusion mechanism, ignoring the rich relations among different contrasts, which are valuable for improving SR. In this work, we propose a multi-stage integration network (i.e., MINet) for multi-contrast MRI SR, which explicitly models the dependencies between multi-contrast images at different stages to guide image SR. In particular, our MINet first learns a hierarchical feature representation from multiple convolutional stages for each of different-contrast image. Subsequently, we introduce a multi-stage integration module to mine the comprehensive relations between the representations of the multi-contrast images. Specifically, the module matches each representation with all other features, which are integrated in terms of their similarities to obtain an enriched representation. Extensive experiments on fastMRI and real-world clinical datasets demonstrate that 1) our MINet outperforms state-of-the-art multi-contrast SR methods in terms of various metrics and 2) our multi-stage integration module is able to excavate complex interactions among multi-contrast features at different stages, leading to improved target-image quality.

연구 동기 및 목표

• 다중 대비 MRI에서 복잡한 대비 간 상호관계를 忽시하는 기존 초해상도 방법의 한계를 해결한다.
• 다양한 MRI 대비(예: T1WI, T2WI, PDWI, FS-PDWI)로부터 상호 보완적인 정보를 활용하여 목표 대비 이미지 복원을 향상시킨다.
• 다양한 단계에서의 계층적 특징 상호작용을 모델링하는 딥 러닝 프레임워크를 개발한다.
• 유사도 인식 통합 및 주의 메커니즘을 통해 다중 수준에서 다중 대비 특징을 융합하여 이미지 품질을 향상시킨다.
• 다양한 데이터셋 및 확대 비율(예: 4× 초해상도)에서도 강건한 성능을 보여주며, 실제 임상 환경에서의 적용 가능성을 입증한다.

제안 방법

• 각 MRI 대비를 공유 인코더를 통해 다단계 컨볼루션 단계를 거쳐 계층적 특징을 학습하는 다단계 통합 네트워크(MINet)를 제안한다.
• 다양한 대비의 특징을 유사도 기반으로 매칭하고, 개선된 표현으로 융합하는 다단계 통합 모듈을 도입한다.
• 각 대비 내에서 정보성 특징을 적응적으로 강조하기 위해 특징 주의 모듈($\mathcal{F}_{\text{Att}}$)을 활용하여 모odal별 표현을 향상시킨다.
• 각 단계에서 대비 간 특징을 융합하는 특징 융합 모듈($\mathcal{F}_{\text{Int}}$)을 적용하여 가중치 기반 융합을 통해 다중 대비 간 상호의존성을 모델링한다.
• 초기 단계의 특징이 깊은 표현 학습을 안내하는 점진적 개선 전략을 적용하여 다중 수준의 상호작용을 가능하게 한다.
• 구조적 세부 정보를 유지하고 시각적 품질을 향상시키기 위해 L1 손실과 인지적 손실을 조합한 복합 손실 함수를 사용하여 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 다양한 계층적 단계에서 다중 대비 간 상호의존성을 모델링하면 다중 대비 MRI 초해상도 성능 향상에 기여하는가?
• RQ2 다양한 MRI 시퀀스(예: T1WI, T2WI)에서 유도된 다중 대비 특징은 목표 대비 복원을 향상시키기 위해 어떻게 상호작용하는가?
• RQ3 다중 대비 MRI SR에서 단일 단계 융합 대비로 단계별 특징 융합이 차지하는 기여도는 어떠한가?
• RQ4 보조 대비(예: T2WI 초해상도에 T1WI 포함)의 통합이 PSNR 및 SSIM에서 측정 가능한 향상 효과를 가져오는가?
• RQ5 실제 임상 환경에서 다양한 데이터셋 및 확대 비율(예: 2×, 4×)에 대해 제안된 방법의 강건성은 어떠한가?

주요 결과

• 2× 초해상도에서 fastMRI 데이터셋에서 MINet은 최고의 PSNR(31.769)와 SSIM(0.709)를 기록하였으며, 이는 이전 SOTA 방법(Lyu et al.)보다 PSNR에서 2.286 dB 향상된 성능이다.
• 4× 초해상도에서 SMS 데이터셋에서 MINet은 PSNR 35.032와 SSIM 0.948를 달성하였으며, 두 번째로 우수한 방법(Lyu et al.)보다 PSNR에서 1.365 dB 높은 성능을 보였다.
• 4× 초해상도에서 uMR 데이터셋에서 MINet은 PSNR 34.219와 SSIM 0.956를 기록하였으며, 두 번째로 뛰어난 방법(Zeng et al.)보다 PSNR에서 2.358 dB 높은 성능을 보였다.
• 절단 실험 결과, 특징 융합 모듈($\mathcal{F}_{\text{Int}}$) 또는 주의 모듈($\mathcal{F}_{\text{Att}}$)을 제거할 경우 성능 저하가 발생하며, 전체 모델이 가장 우수한 성능(2×에서 NMSE: 0.0018, PSNR: 40.549, SSIM: 0.983)을 기록함을 확인하였다.
• 시각적 결과에서는 MINet이 체스보드 효과 등의 잡음을 줄이고, 특히 고확대 설정에서 더 나은 구조적 보존 성능을 보였다.
• fastMRI, SMS, uMR 등 다양한 데이터셋에 걸쳐 강력한 일반화 성능을 보이며, 실제 임상 환경에서의 강건성을 확인하였다.