[论文解读] HRFormer: High-Resolution Transformer for Dense Prediction

Yuhui Yuan, Rao Fu+5 more|arXiv (Cornell University)|Oct 18, 2021

Human Pose and Action Recognition参考文献 58被引用 126

一句话总结

HRFormer 将高分辨率多尺度表示与局部窗口自注意力以及深度卷积的前馈网络结合，以实现高效的密集预测，在使用比同类 HRNet 和 transformer 基线更少的参数和 FLOPs 的同时，取得了在姿态估计和语义分割方面的强劲结果。

ABSTRACT

We present a High-Resolution Transformer (HRFormer) that learns high-resolution representations for dense prediction tasks, in contrast to the original Vision Transformer that produces low-resolution representations and has high memory and computational cost. We take advantage of the multi-resolution parallel design introduced in high-resolution convolutional networks (HRNet), along with local-window self-attention that performs self-attention over small non-overlapping image windows, for improving the memory and computation efficiency. In addition, we introduce a convolution into the FFN to exchange information across the disconnected image windows. We demonstrate the effectiveness of the High-Resolution Transformer on both human pose estimation and semantic segmentation tasks, e.g., HRFormer outperforms Swin transformer by $1.3$ AP on COCO pose estimation with $50\%$ fewer parameters and $30\%$ fewer FLOPs. Code is available at: https://github.com/HRNet/HRFormer.

研究动机与目标

• 以高分辨率表示激发密集预测，超越传统ViT风格的低分辨率输出。
• 设计在保留高分辨率信息流的同时实现跨尺度信息交换的Transformer模块。
• 使用局部窗口自注意力和卷积增强的前馈网络来降低内存和计算量。
• 整合 HRNet 风格的多分辨率融合，以维持并行的高分辨率和低分辨率信息流。
• 在姿态估计、语义分割和ImageNet分类任务上展示有效性。

提出的方法

• 采用受 HRNet 启发的多分辨率并行架构，在各阶段维持高分辨率表示。
• 在非重叠的 KxK 图像窗口内实现局部窗口自注意力，以将内存和计算量从对空间尺寸的平方级下降到线性。
• 在前馈网络中引入 3x3 的逐通道卷积，以实现跨非重叠窗口的信息交换并扩展感受野。
• 在局部窗口自注意力中使用相对位置嵌入以纳入空间结构。
• 采用卷积多尺度融合模块实现跨分辨率的信息交换，遵循 HRNet 的融合设计。
• 在四个分辨率流上排列 Transformer 模块，采用四阶段结构，默认的窗口大小固定为 (7,7,7,7)。

实验结果

研究问题

• RQ1 高分辨率、多尺度的 Transformer 表征是否能提升姿态估计和语义分割等密集预测任务？
• RQ2 将局部窗口自注意力与前馈网络中的逐通道卷积相结合，是否在较低内存和计算量下提供与全局注意力竞争力的精度？
• RQ3 受 HRNet 启发的多分辨率融合策略如何与 Transformer 模块互动以提升多任务的性能？
• RQ4 设计选择（窗口大小、FFN 结构）对视觉任务的准确性和效率有何影响？

主要发现

• HRFormer-B 在 COCO 骨架验证姿态估计上比 HRNet-W48 提升 0.9% 的 AP，同时参数减少 32%、FLOPs 下降 19%。
• HRFormer-B + OCR 将 HRNet-W48 + OCR 的 mIoU 在 PASCAL-Context 提升 1.2%，在 COCO-Stuff 提升 2.0%，参数减少 25%，FLOPs 相近。
• 在 ImageNet-1K 上，HRFormer-B 的 top-1 准确率比 DeiT-B 高 1.0%，同时参数约少 40%，FLOPs 约少 20%。
• HRFormer-T/S/B 在姿态估计和分割任务上优于 HRNet 对手以及具有竞争力的 Transformer 基线，且参数和计算成本显著较低。
• 消融显示 FFN 中的 3x3 深度卷积相比不带 DW 的 FFN，显著提升 ImageNet、PASCAL-Context 和 COCO 的指标。
• 与 ViT/DeiT/Swin 基线在姿态估计上的比较中，HRFormer-B 以更少的参数和 FLOPs 获得更好的结果。