[论文解读] Accelerating Large-Kernel Convolution Using Summed-Area Tables

Linguang Zhang, Maciej Halber+1 more|arXiv (Cornell University)|Jun 26, 2019

Human Pose and Action Recognition参考文献 33被引用 7

一句话总结

该论文提出了一种可微分、参数高效的大型卷积核卷积层，利用求和面积表（SATs）和可学习的框滤波器，在保持高分辨率特征图的同时加速推理。通过利用SATs实现恒定时间的区域求和计算，并将滤波器参数化为仅四个变量（位置和尺寸），该方法实现了二次计算量的节省和参数量的减少，在人类姿态估计任务中实现了具有竞争力的性能，参数量仅为185万，比先前方法少一个数量级，且在数据有限时泛化能力更强。

ABSTRACT

Expanding the receptive field to capture large-scale context is key to obtaining good performance in dense prediction tasks, such as human pose estimation. While many state-of-the-art fully-convolutional architectures enlarge the receptive field by reducing resolution using strided convolution or pooling layers, the most straightforward strategy is adopting large filters. This, however, is costly because of the quadratic increase in the number of parameters and multiply-add operations. In this work, we explore using learnable box filters to allow for convolution with arbitrarily large kernel size, while keeping the number of parameters per filter constant. In addition, we use precomputed summed-area tables to make the computational cost of convolution independent of the filter size. We adapt and incorporate the box filter as a differentiable module in a fully-convolutional neural network, and demonstrate its competitive performance on popular benchmarks for the task of human pose estimation.

研究动机与目标

• 解决全卷积神经网络中大感受野卷积的计算和参数效率低下问题。
• 在不进行下采样的情况下实现高分辨率输出，保留空间细节。
• 设计一种可微分、端到端可训练的模块，利用求和面积表和框滤波器实现高效的大感受野学习。
• 通过降低模型复杂度，在数据稀缺条件下保持性能的同时提升泛化能力。

提出的方法

• 利用求和面积表（SATs）在恒定时间内计算任意矩形区域的积分，实现大感受野卷积的O(1)计算复杂度。
• 使用由四个变量（x, y, 宽度, 高度）参数化的可学习框滤波器，使参数数量与卷积核大小无关。
• 引入亚像素定位以确保反向传播过程中梯度连续，支持端到端训练。
• 采用深度可分离卷积后接1×1卷积，融合多个框滤波后的特征图，近似实现复杂卷积核。
• 在全卷积神经网络中应用基于SAT的卷积作为可微分层，用高效的框滤波器替代标准的大感受野卷积核。
• 在收敛后采用整数坐标采样，通过消除推理阶段的插值操作，进一步降低FLOPs。

实验结果

研究问题

• RQ1 求和面积表能否有效集成到深度学习中，实现在极低参数开销下加速大感受野卷积？
• RQ2 每个滤波器仅用四个参数的可学习框滤波器，能否在密集预测任务中实现具有竞争力的性能，尽管其结构简单？
• RQ3 当训练数据有限时，所提方法是否比标准大感受野卷积或空洞卷积网络具有更好的泛化能力？
• RQ4 通过亚像素定位，能否在反向传播中保持框滤波器参数（位置和尺寸）的可微性？

主要发现

• 所提方法在MPII人体姿态估计数据集上实现了具有竞争力的性能，优于从零训练的SimpleBaseline（ResNet50），且参数量远少于CPN（185万 vs. 约1000万）。
• 在COCO test-dev2017数据集上，该方法取得了具有竞争力的结果，展现出在多样化姿态和尺度下的强大泛化能力。
• 在数据受限条件下，该模型泛化能力更优：仅使用MPII数据集10%的样本时，其验证准确率在完全过拟合后仍高于SimpleBaseline。
• 训练过程中学习到的框滤波器演化为多样化且非对称的形态，避免了先前工作中观察到的对称性偏差。
• 收敛后，将框滤波器角点坐标四舍五入为整数可消除插值操作，显著降低计算成本，且性能损失极小。