[论文解读] Multimodal Multi-Head Convolutional Attention with Various Kernel Sizes for Medical Image Super-Resolution

Mariana-Iuliana Georgescu, Radu Tudor Ionescu+5 more|arXiv (Cornell University)|Apr 8, 2022

Advanced Image Processing Techniques被引用 10

一句话总结

本文提出了一种新颖的多模态多头卷积注意力（MMHCA）机制，用于医学图像超分辨率，通过利用多张低分辨率的CT和MRI扫描图像来提升重建质量。通过使用具有不同感受野大小的多个注意力头，结合卷积与反卷积操作，实现对空间与通道维度的联合注意力建模，MMHCA在三个数据集上均达到当前最优性能，相较于基线方法，PSNR最高提升0.69 dB。

ABSTRACT

Super-resolving medical images can help physicians in providing more accurate diagnostics. In many situations, computed tomography (CT) or magnetic resonance imaging (MRI) techniques capture several scans (modes) during a single investigation, which can jointly be used (in a multimodal fashion) to further boost the quality of super-resolution results. To this end, we propose a novel multimodal multi-head convolutional attention module to super-resolve CT and MRI scans. Our attention module uses the convolution operation to perform joint spatial-channel attention on multiple concatenated input tensors, where the kernel (receptive field) size controls the reduction rate of the spatial attention, and the number of convolutional filters controls the reduction rate of the channel attention, respectively. We introduce multiple attention heads, each head having a distinct receptive field size corresponding to a particular reduction rate for the spatial attention. We integrate our multimodal multi-head convolutional attention (MMHCA) into two deep neural architectures for super-resolution and conduct experiments on three data sets. Our empirical results show the superiority of our attention module over the state-of-the-art attention mechanisms used in super-resolution. Moreover, we conduct an ablation study to assess the impact of the components involved in our attention module, e.g. the number of inputs or the number of heads. Our code is freely available at https://github.com/lilygeorgescu/MHCA.

研究动机与目标

• 为解决临床诊断中低分辨率医学影像的挑战，通过融合多种成像模态来提升图像超分辨率性能。
• 开发一种新型注意力机制，以联合建模多模态输入中的空间与通道依赖关系。
• 在无需其他模态的高分辨率参考图像（此类图像在实际中极为稀少）的前提下，提升超分辨率性能。
• 通过在真实世界多模态医学影像数据集上的大量实验，验证所提出注意力模块的有效性。

提出的方法

• MMHCA模块并行应用多个卷积与反卷积层，每个注意力头使用不同的卷积核大小，以控制空间注意力的下采样率。
• 来自不同成像模态（如CT与MRI）的输入特征在通道维数上进行拼接后，输入至注意力模块。
• 每个注意力头通过卷积操作实现瓶颈压缩（降低空间与通道维度），随后通过反卷积操作恢复原始尺寸。
• 所有注意力头的输出结果相加，并通过Sigmoid激活函数生成可学习的注意力图。
• 将注意力图与输入特征张量进行逐元素相乘，以突出显示相关区域与特征。
• 将MMHCA模块集成至两种深度超分辨率网络架构（EDSR与CNN+ESPC）中，并在三个多模态数据集上进行评估。

实验结果

研究问题

• RQ1 当仅能获取来自多种模态的低分辨率扫描图像时，多模态多头卷积注意力机制是否能提升医学图像超分辨率性能？
• RQ2 多个注意力头之间核大小的多样性如何影响注意力模块的性能表现？
• RQ3 所提出的MMHCA模块是否在医学图像超分辨率任务中优于现有注意力机制（如CBAM与MCBAM）？
• RQ4 在多模态数据上，为最大化超分辨率质量，最优的注意力头数量与通道压缩比是多少？
• RQ5 MMHCA模块在多大程度上提升了诊断相关性，这一结论是否得到放射科医生的主观评价支持？

主要发现

• MMHCA模块在所有数据集与放大倍数（2×与4×）下，PSNR提升至少0.47 dB，最高达0.69 dB，优于当前最优方法。
• 消融实验证实，即使在参数量匹配的前提下，使用不同核大小的注意力头仍显著优于使用相同核大小的设置。
• 若移除反卷积层（即禁用瓶颈机制），性能显著下降，验证了瓶颈设计原则在模型中的关键作用。
• 最优注意力头数量为3个，最佳通道压缩比为r=0.5；进一步提高压缩比将导致性能下降。
• 在三位放射科医生的主观评估中，81.3%的病例更偏好由EDSR结合MMHCA生成的高分辨率图像，尤其在恢复细小解剖结构（如血管）方面表现更优。
• 该方法通过提升关键结构的可见性，显著增强诊断质量，经放射科医生确认，其生成的图像能更清晰地呈现基线模型所遗漏的重要解剖结构。