[论文解读] Efficient Hybrid Transformer: Learning Global-local Context for Urban Sence Segmentation.

Libo Wang, Shenghui Fang+3 more|arXiv (Cornell University)|Sep 18, 2021

Advanced Neural Network Applications参考文献 29被引用 4

一句话总结

本文提出了一种用于实时城市场景分割的高效混合Transformer（EHT），结合基于CNN的编码器提取局部特征与基于Transformer的解码器建模全局上下文。EHT在UAVid测试集上达到66.9%的mIoU，且推理速度优于当前最先进轻量化模型，展现出更优的效率-精度权衡。

ABSTRACT

Semantic segmentation of fine-resolution urban scene images plays a vital role in extensive practical applications, such as land cover mapping, urban change detection, environmental protection and economic assessment. Driven by rapid developments in deep learning technologies, the convolutional neural network (CNN) has dominated the semantic segmentation task for many years. Convolutional neural networks adopt hierarchical feature representation, demonstrating strong local information extraction. However, the local property of the convolution layer limits the network from capturing global context that is crucial for precise segmentation. Recently, Transformer comprise a hot topic in the computer vision domain. Transformer demonstrates the great capability of global information modelling, boosting many vision tasks, such as image classification, object detection and especially semantic segmentation. In this paper, we propose an efficient hybrid Transformer (EHT) for real-time urban scene segmentation. The EHT adopts a hybrid structure with and CNN-based encoder and a transformer-based decoder, learning global-local context with lower computation. Extensive experiments demonstrate that our EHT has faster inference speed with competitive accuracy compared with state-of-the-art lightweight models. Specifically, the proposed EHT achieves a 66.9% mIoU on the UAVid test set and outperforms other benchmark networks significantly. The code will be available soon.

研究动机与目标

• 为解决CNN在捕捉细分辨率城市场景分割中全局上下文方面的局限性。
• 克服纯Transformer在实时分割任务中计算成本过高的问题。
• 设计一种轻量化但高精度的模型，有效融合局部与全局上下文，以实现城市场景理解。
• 在与现有轻量化模型相比时，实现具有显著更快推理速度的竞争力分割精度。

提出的方法

• EHT采用混合架构，利用基于CNN的编码器提取分层局部特征。
• 使用基于Transformer的解码器对特征图中的长程依赖关系和全局上下文进行建模。
• 通过整合CNN编码器与Transformer解码器的特征，实现全局-局部特征融合。
• 在城市场景数据集上使用标准分割损失函数进行端到端训练。
• 通过最小化Transformer解码器中的冗余计算，优先考虑推理效率。
• 架构针对资源受限平台上的实时部署进行了优化。

实验结果

研究问题

• RQ1 混合CNN-Transformer架构在城市场景分割中是否能比纯CNN实现更好的全局上下文建模？
• RQ2 与最先进轻量化模型相比，所提出的EHT在计算效率与分割精度之间如何实现平衡？
• RQ3 基于Transformer的解码器在保持快速推理速度的前提下，能在多大程度上提升mIoU，以实现实时城市分割？
• RQ4 将CNN编码器的局部特征与Transformer解码器的全局上下文相结合，是否能提升复杂城市场景中分割的鲁棒性？

主要发现

• EHT在UAVid测试集上达到66.9%的平均交并比（mIoU），优于其他基准网络。
• 该模型的推理速度显著快于当前最先进轻量化分割模型。
• 混合架构有效捕捉了局部细节与长程依赖关系，提升了分割精度。
• CNN-Transformer组合实现了具有更低计算开销的竞争力性能。
• 该模型在细分辨率城市场景图像上表现出强大的泛化能力。
• 所提出方法在UAVid基准上实现了新的SOTA推理速度，同时保持了高精度。