[논문 리뷰] Multimodal Multi-Head Convolutional Attention with Various Kernel Sizes for Medical Image Super-Resolution

Mariana-Iuliana Georgescu, Radu Tudor Ionescu외 5명|arXiv (Cornell University)|2022. 04. 08.

Advanced Image Processing Techniques인용 수 10

한 줄 요약

이 논문은 다중 모odal 저해상도 CT 및 MRI 스캔을 활용하여 재구성 품질을 향상시키기 위해 의료 영상 초해상도 분석을 위한 새로운 다중 모달 다중 헤드 컨볼루션 주의 메커니즘(MMHCA)을 제안한다. 다양한 커널 크기를 가진 다중 주의 헤드를 사용하여 컨볼루션 및 디컨볼루션 연산을 통해 공간적 및 채널적 주의를 동시에 수행함으로써, 세 가지 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 기준 모델 대비 최대 0.69 dB까지 PSNR 향상을 이룩하였다.

ABSTRACT

Super-resolving medical images can help physicians in providing more accurate diagnostics. In many situations, computed tomography (CT) or magnetic resonance imaging (MRI) techniques capture several scans (modes) during a single investigation, which can jointly be used (in a multimodal fashion) to further boost the quality of super-resolution results. To this end, we propose a novel multimodal multi-head convolutional attention module to super-resolve CT and MRI scans. Our attention module uses the convolution operation to perform joint spatial-channel attention on multiple concatenated input tensors, where the kernel (receptive field) size controls the reduction rate of the spatial attention, and the number of convolutional filters controls the reduction rate of the channel attention, respectively. We introduce multiple attention heads, each head having a distinct receptive field size corresponding to a particular reduction rate for the spatial attention. We integrate our multimodal multi-head convolutional attention (MMHCA) into two deep neural architectures for super-resolution and conduct experiments on three data sets. Our empirical results show the superiority of our attention module over the state-of-the-art attention mechanisms used in super-resolution. Moreover, we conduct an ablation study to assess the impact of the components involved in our attention module, e.g. the number of inputs or the number of heads. Our code is freely available at https://github.com/lilygeorgescu/MHCA.

연구 동기 및 목표

• 임상 진단에서 저해상도 의료 영상 문제를 해결하기 위해 다중 영상 모odal을 활용하여 영상 초해상도를 향상시키는 것.
• 다중 모달 입력 간 공간적 및 채널별 의존성을 동시에 모델링하는 새로운 주의 메커니즘을 개발하는 것.
• 기타 모달에서의 고해상도 기준 스캔이 실제로 거의 존재하지 않는 점을 감안해, 고해상도 기준 스캔 없이도 초해상도 성능을 향상시키는 것.
• 실세계 다중 모달 의료 영상 데이터셋을 대상으로 한 광범위한 실험을 통해 제안된 주의 모듈의 유효성을 검증하는 것.

제안 방법

• MMHCA 모듈은 병렬로 다수의 컨볼루션 및 디컨볼루션 레이어를 적용하며, 각 헤드는 고유한 커널 크기를 사용하여 공간적 주의 감소 비율을 제어한다.
• 다른 영상 모달(예: CT 및 MRI)에서 온 입력 특징은 채널 차원에 따라 연결된 후 주의 모듈에 입력된다.
• 각 주의 헤드는 공간적 및 채널 차원을 감소시키는 컨볼루션(압축)을 수행한 후, 원래 크기로 복원하기 위해 디컨볼루션을 수행한다.
• 모든 헤드의 출력은 합산된 후 시그모이드 활성화 함수를 거쳐 학습 가능한 주의 맵을 생성한다.
• 주의 맵은 입력 특징 텐서와 요소별 곱셈을 통해 관련 영역과 특징을 강조한다.
• MMHCA 모듈은 두 가지 딥 초해상도 아키텍처인 EDSR 및 CNN+ESPC에 통합되어 세 개의 다중 모달 데이터셋에서 평가되었다.

실험 결과

연구 질문

• RQ1 다양한 모달에서의 저해상도 스캔만 제공될 경우, 다중 모달 다중 헤드 컨볼루션 주의 메커니즘이 의료 영상 초해상도 성능 향상에 기여할 수 있는가?
• RQ2 다양한 주의 헤드 간의 커널 크기 다양성이 주의 모듈의 성능에 어떤 영향을 미치는가?
• RQ3 제안된 MMHCA 모듈이 CBAM 및 MCBAM과 같은 기존 주의 메커니즘보다 의료 영상 초해상도에서 뛰어난 성능을 보일 수 있는가?
• RQ4 초해상도 품질을 최대화하기 위해 최적의 주의 헤드 수와 감소 비율은 얼마인가?
• RQ5 의료진의 평가에 따르면, MMHCA 모듈은 진단적 관련성을 어느 정도 향상시키는가?

주요 결과

• MMHCA 모듈은 모든 데이터셋과 확대 비율(2× 및 4×)에서 최소 0.47 dB 이상, 최대 0.69 dB까지 PSNR 향상을 이룩하여 최신 기술 수준의 방법을 초월하였다.
• 제거 실험 결과, 파arameter 수를 동일하게 유지하더라도 동일한 커널을 사용하는 것보다 다양한 커널 크기를 사용한 경우 성능 향상이 뚜렷하게 향상됨을 확인하였다.
• 디컨볼루션 레이어를 제거함(즉, 복구 원리의 병목 구조 비활성화) 시 성능 저하가 발생하여, 설계에서 병목 원리의 중요성을 입증하였다.
• 최적의 헤드 수는 3이며, 채널 감소 비율 r=0.5에서 최고의 성능를 기록하였으며, 비율을 더 높일수록 성능 저하가 발생하였다.
• 세 명의 방사선의사가 수행한 주관적 평가에서, EDSR에 MMHCA를 적용한 결과 생성된 고해상도 영상이 81.3%의 경우에서 선호되었으며, 특히 혈관과 같은 미세한 해부학적 구조 복원에서 뛰어난 성능를 보였다.
• 의료진의 평가에 따르면, 기준 모델이 놓친 중요한 해부학적 구조의 가시성이 향상되어 임상적 관련성이 높아졌음을 확인하였다.