[论文解读] Laplacian-Former: Overcoming the Limitations of Vision Transformers in Local Texture Detection

Reza Azad, Amirhossein Kazerouni+5 more|arXiv (Cornell University)|Aug 31, 2023

AI in cancer detectionComputer Science被引用 3

一句话总结

Laplacian-Former 提出了一种新颖的基于 Transformer 的架构，通过在拉普拉斯金字塔中结合双注意力机制——高效注意力与频率注意力——来增强局部纹理检测，从而保留高频细节。该方法在无需预训练的情况下，实现了 SOTA 性能，在多器官和皮肤病变分割基准上分别实现了 +1.87% 和 +0.76% 的 Dice 分数提升，优于现有的 CNN 和混合模型。

ABSTRACT

Vision Transformer (ViT) models have demonstrated a breakthrough in a wide range of computer vision tasks. However, compared to the Convolutional Neural Network (CNN) models, it has been observed that the ViT models struggle to capture high-frequency components of images, which can limit their ability to detect local textures and edge information. As abnormalities in human tissue, such as tumors and lesions, may greatly vary in structure, texture, and shape, high-frequency information such as texture is crucial for effective semantic segmentation tasks. To address this limitation in ViT models, we propose a new technique, Laplacian-Former, that enhances the self-attention map by adaptively re-calibrating the frequency information in a Laplacian pyramid. More specifically, our proposed method utilizes a dual attention mechanism via efficient attention and frequency attention while the efficient attention mechanism reduces the complexity of self-attention to linear while producing the same output, selectively intensifying the contribution of shape and texture features. Furthermore, we introduce a novel efficient enhancement multi-scale bridge that effectively transfers spatial information from the encoder to the decoder while preserving the fundamental features. We demonstrate the efficacy of Laplacian-former on multi-organ and skin lesion segmentation tasks with +1.87\% and +0.76\% dice scores compared to SOTA approaches, respectively. Our implementation is publically available at https://github.com/mindflow-institue/Laplacian-Former

研究动机与目标

• 为解决视觉 Transformer（ViT）在捕捉边缘和纹理等高频分量方面的局限性，这些分量对医学图像分割至关重要。
• 克服 ViT 模型相比 CNN 在局部特征表示方面表现较差的问题，尤其是在检测肿瘤和病变中的细粒度纹理模式方面。
• 设计一种计算高效的纯 Transformer 架构，无需依赖 CNN 主干网络或繁重的预训练，即可保留多尺度的空间与频率信息。
• 通过增强频率感知注意力机制，提升在低对比度、高变化性医学图像中的边界检测与分割精度。
• 证明仅使用 Transformer 的模型可在多器官和皮肤病变分割任务中超越混合模型与基于 CNN 的 SOTA 模型。

提出的方法

• 在自注意力模块中提出双注意力机制：高效注意力将二次复杂度降低至线性，同时保持输出保真度；频率注意力则突出高频分量。
• 引入基于拉普拉斯金字塔的频率注意力模块，通过在多尺度上突出纹理和边缘细节，自适应地重新校准特征图。
• 设计一种高效的多尺度桥接模块，将编码器到解码器的时空与频率感知特征进行传递，以保留细粒度细节。
• 采用 U 形架构，从零开始训练，无需预训练，实现对局部与全局表征的端到端优化。
• 使用可学习的频率注意力头，作用于多尺度拉普拉斯特征，以选择性地增强特征空间中与纹理相关区域。
• 在共享注意力模块中结合高效注意力机制与频率注意力，实现参数高效且高性能的特征学习。

Figure 1 : Architecture of our proposed Laplacian-Former.

实验结果

研究问题

• RQ1 纯 Transformer 架构能否在医学图像的局部纹理与边缘检测中超越 CNN 和混合模型？
• RQ2 如何修改自注意力机制，以更好地保留如纹理和边缘信息等高频分量？
• RQ3 将拉普拉斯金字塔集成到注意力机制中，对提升视觉 Transformer 中的局部特征表示有何影响？
• RQ4 多尺度频率感知注意力机制是否能提升在多器官和皮肤病变分割等具有挑战性的医学影像任务中的分割性能？
• RQ5 轻量级高效注意力机制能否在降低计算复杂度的同时保持性能？

主要发现

• 在 Synapse 多器官分割基准上，Laplacian-Former 相较于 SOTA 方法实现了 +1.87% 的 Dice 分数提升，优于 HiFormer 和 Swin-Unet 等模型。
• 在 ISIC 2018 皮肤病变分割数据集上，Laplacian-Former 达到 0.9128 的 Dice 分数，超过 Swin-Unet（0.8946）和 TMU-Net（0.9059），较 SOTA 提升 +0.76%。
• 消融实验表明，移除多尺度桥接模块会使 Dice 分数降低 2.91%，证实其在保留空间与频率信息方面起着关键作用。
• 谱响应分析表明，Laplacian-Former 在深层网络中对高频分量的保留优于标准 Transformer。
• 在胆囊、肝脏和胃等器官上，Laplacian-Former 实现了更优的边界勾勒，胰腺分割中的假阳性更少。
• 尽管从零开始训练，Laplacian-Former 仍优于所有基线模型（包括预训练模型），展现出强大的泛化能力与学习潜力。

Figure 2 : The structure of our frequency enhancement Transformer block.