[论文解读] HRViT: Multi-Scale High-Resolution Vision Transformer

Jiaqi Gu, Hyoukjun Kwon+7 more|arXiv (Cornell University)|Nov 1, 2021

Advanced Neural Network Applications参考文献 18被引用 8

一句话总结

HRViT 提出了一种多尺度、高分辨率的视觉变换器架构，通过异构多分支设计、减少线性层冗余以及增加非线性，显著提升了密集预测任务的性能。在 ADE20K 上达到 50.20% 的 mIoU，在 Cityscapes 上达到 83.16% 的 mIoU，超越了 MiT 和 CSWin 等 SOTA 模型，mIoU 提升 +1.78%，同时参数量减少 28%，FLOPs 降低 21%。

ABSTRACT

Vision transformers (ViTs) have attracted much attention for their superior performance on computer vision tasks. To address their limitations of single-scale low-resolution representations, prior work adapts ViTs to high-resolution dense prediction tasks with hierarchical architectures to generate pyramid features. However, multi-scale representation learning is still under-explored on ViTs, given their classification-like sequential topology. To enhance ViTs with more capability to learn semantically-rich and spatially-precise multi-scale representations, in this work, we present an efficient integration of high-resolution multi-branch architectures with vision transformers, dubbed HRViT, pushing the Pareto front of dense prediction tasks to a new level. We explore heterogeneous branch design, reduce the redundancy in linear layers, and augment the model nonlinearity to balance the model performance and hardware efficiency. The proposed HRViT achieves 50.20% mIoU on ADE20K and 83.16% mIoU on Cityscapes for semantic segmentation tasks, surpassing state-of-the-art MiT and CSWin with an average of +1.78 mIoU improvement, 28% parameter reduction, and 21% FLOPs reduction, demonstrating the potential of HRViT as strong vision backbones.

研究动机与目标

• 为解决视觉变换器在学习用于密集预测任务的多尺度、高分辨率表征方面的局限性。
• 克服视觉变换器固有的顺序性与分类导向拓扑结构，以促进有效的多尺度特征学习。
• 设计一种高效且适合硬件部署的架构，实现性能与计算成本之间的平衡。
• 通过提升 mIoU 同时减少模型大小与 FLOPs，推动密集预测模型的帕累托前沿。

提出的方法

• HRViT 将多分支架构融入视觉变换器，实现多尺度下并行、异构的特征学习。
• 通过在分支间共享或剪枝参数，减少线性层中的冗余，提升参数效率。
• 在各分支中战略性地增强非线性激活函数，以提升表征能力，同时显著控制 FLOPs 增加。
• 采用分层设计，在网络中全程保持高分辨率特征，实现精确的空间监督。
• 引入专用的 token 混合机制，在保留空间细节的同时实现跨尺度特征聚合。
• 架构针对推理效率进行优化，实现高精度的同时显著降低计算开销。

实验结果

研究问题

• RQ1 视觉变换器能否在不损失分辨率或效率的前提下，有效扩展以学习丰富的多尺度表征？
• RQ2 异构多分支设计在视觉变换器中如何提升密集预测任务的特征学习能力？
• RQ3 哪些架构修改可减少线性层中的冗余，同时保持或提升性能？
• RQ4 在不增加 FLOPs 的前提下，如何在视觉变换器中最大程度增强非线性以提升表征学习能力？
• RQ5 HRViT 是否能在语义分割基准上同时超越现有 SOTA 模型的准确率与效率？

主要发现

• HRViT 在 ADE20K 语义分割基准上达到 50.20% 的 mIoU，创下新的 SOTA 记录。
• 在 Cityscapes 数据集上，HRViT 达到 83.16% 的 mIoU，相比之前 SOTA 模型提升 +1.78 mIoU。
• 与 MiT 和 CSWin 等 SOTA 模型相比，HRViT 参数量减少 28%。
• HRViT 在保持卓越性能的同时，FLOPs 减少 21%，展现出更高的硬件效率。
• 多分支与高分辨率设计显著提升了特征图的空间精度与语义丰富度。
• 非线性与参数共享的整合在不增加计算成本的前提下，增强了模型的表征能力。