[논문 리뷰] An Attention-based Multi-Scale Feature Learning Network for Multimodal Medical Image Fusion

Zhou Meng, Xiaolan Xu외 1명|arXiv (Cornell University)|2022. 12. 09.

Advanced Image Fusion Techniques인용 수 6

한 줄 요약

이 논문은 다중 모odal 의료 영상 융합을 위한 새로운 확장형 잔차 주의망(DILRAN)을 제안하며, 다중 척도 특징 추출과 고정된 Softmax 기반 가중 융합 전략을 결합하여 고정밀도, 세부 정보가 풍부한 융합 영상을 생성한다. 이 방법은 네 가지 벤치마크 지표에서 최신 기술들을 능가하며, CT와 MRI 스캔의 융합에서 뛰어난 시각적 품질과 정량적 성능을 입증한다.

ABSTRACT

Medical images play an important role in clinical applications. Multimodal medical images could provide rich information about patients for physicians to diagnose. The image fusion technique is able to synthesize complementary information from multimodal images into a single image. This technique will prevent radiologists switch back and forth between different images and save lots of time in the diagnostic process. In this paper, we introduce a novel Dilated Residual Attention Network for the medical image fusion task. Our network is capable to extract multi-scale deep semantic features. Furthermore, we propose a novel fixed fusion strategy termed Softmax-based weighted strategy based on the Softmax weights and matrix nuclear norm. Extensive experiments show our proposed network and fusion strategy exceed the state-of-the-art performance compared with reference image fusion methods on four commonly used fusion metrics.

연구 동기 및 목표

• 보완적인 해부학적(CT) 및 기능적(MRI) 의료 영상 융합의 과제를 해결하여 임상 진료를 향상시키기 위해.
• 융합 영상에서 세밀한 무늬와 구조적 경계를 유지하는 딥 러닝 프레임워크를 개발하기 위해.
• 학습에 의존하지 않는 적응이 필요 없는 실시간 추론을 가능하게 하는 파rameter-free 융합 전략을 설계하기 위해.
• 확장형 컨볼루션, 잔차 학습, 다중 척도 주의 메커니즘을 통합하여 특징 표현을 향상시키기 위해.

제안 방법

• 잔차 연결, 피라미드 주의 모듈, 확장형 컨볼루션을 결합한 확장형 잔차 주의망(DILRAN)을 제안하여 다중 척도 특징 추출을 수행한다.
• 학습 가능한 파rameter가 없는 고정된 Softmax 기반 가중 융합 전략을 사용하여 Softmax 가중치와 행렬 핵 노름을 활용해 특징 맵을 융합한다.
• 세부 정보 유지 및 구조적 정밀도 향상을 위해 MSE, 영상 기울기, 인지 손실을 포함한 다중 손실 학습 목표를 활용한다.
• 직접 융합 출력을 생성하기 위해 특징 추출, 고정 융합, 영상 재구성 모듈을 포함한 엔드 투 엔드 프레임워크를 적용한다.
• 픽셀 수준의 차이만 최소화하는 것이 아니라 고수준의 의미적 특징을 학습하도록 유도하기 위해 인지 손실을 통합한다.
• YCbCr 공간에서 Y 채널을 처리하고 전체 색상 출력을 재구성하여 3채널 SPECT/PET과 1채널 MRI 융합에 프레임워크를 적응시킨다.

실험 결과

연구 질문

• RQ1 학습 가능한 융합 메커니즘과 비교해도 고정된, 파rameter-free 융합 전략이 다중 모달 의료 영상 융합에서 경쟁력 있는 성능을 달성할 수 있는가?
• RQ2 확장형 컨볼루션과 주의 메커니즘을 활용한 다중 척도 특징 학습이 융합된 의료 영상에서 세부 정보 및 경계 보존에 얼마나 기여하는가?
• RQ3 MSE, 기울기, 인지 손실을 모두 사용한 조합이 MSE만 사용할 경우에 비해 융합 출력의 품질과 현실감에 어떤 영향을 미치는가?
• RQ4 제안된 DILRAN 아키텍처가 CT-MRI 이외의 다른 다중 모달 융합 작업, 예를 들어 MRI-PET 또는 MRI-SPECT로 일반화되는가?
• RQ5 어떤 경우에 제안된 방법이 실패하며, 융합 출력에서 어떤 종류의 아티팩트(예: 노이즈 또는 정렬이 어긋난 특징)가 발생하는가?

주요 결과

• 제안된 방법은 CT-MRI 융합 벤치마크에서 모든 비교 방법 중 최고의 PSNR(16.519)와 SSIM(0.740)를 기록했다.
• 전체 손실 함수(MSE + 기울기 + 인지)는 MSE 전용 손실보다 더 좋은 성능을 보였으며, MI는 2.9% 향상(4.558 vs. 4.428), SSIM은 0.1% 향상되었다.
• 제안된 방법이 생성한 융합 영상에서는 MSPRAN 및 MSDRA와 같은 베이스라인 방법보다 더 선명한 경계와 더 자연스러운 무늬를 보였다.
• 제거 실험을 통해 인지 손실과 기울기 손실이 특징 수준의 표현을 크게 향상시켜 픽셀 수준 최소화에 대한 의존도를 감소시킴을 확인했다.
• 엔트로피(9.816)와 FSIM(0.820)에서도 뛰어난 성능을 보여, 높은 정보량과 구조 유사성을 나타냈다.
• 실패 케이스 분석에서 MRI 세부 정보가 모호할 경우 CT의 노이즈나 잘못된 특징 표현이 융합 영상에 나타날 수 있으나, 이 경우 MSDRA가 略로 더 우수한 성능을 보였다.