[论文解读] KernelWarehouse: Towards Parameter-Efficient Dynamic Convolution

Chao Li, Anbang Yao|arXiv (Cornell University)|Aug 16, 2023

Advanced Neural Network ApplicationsComputer Science被引用 3

一句话总结

KernelWarehouse 提出了一种参数高效的动态卷积方法，通过将卷积核划分为若干单元并跨层共享一个全局的‘仓库’式可重用核单元，重新定义了核表示。该方法在参数增长极少的情况下实现高维核混合，从而在保持极低模型参数量的同时实现最先进性能——例如，在 ResNet50 上 ImageNet 的 top-1 准确率达到 81.05%，模型大小最大减少 65.10%，准确率提升 2.29%。

ABSTRACT

Dynamic convolution learns a linear mixture of $n$ static kernels weighted with their sample-dependent attentions, demonstrating superior performance compared to normal convolution. However, existing designs are parameter-inefficient: they increase the number of convolutional parameters by $n$ times. This and the optimization difficulty lead to no research progress in dynamic convolution that can allow us to use a significant large value of $n$ (e.g., $n>100$ instead of typical setting $n<10$) to push forward the performance boundary. In this paper, we propose $KernelWarehouse$, a more general form of dynamic convolution, which can strike a favorable trade-off between parameter efficiency and representation power. Its key idea is to redefine the basic concepts of "$kernels$" and "$assembling$ $kernels$" in dynamic convolution from the perspective of reducing kernel dimension and increasing kernel number significantly. In principle, KernelWarehouse enhances convolutional parameter dependencies within the same layer and across successive layers via tactful kernel partition and warehouse sharing, yielding a high degree of freedom to fit a desired parameter budget. We validate our method on ImageNet and MS-COCO datasets with different ConvNet architectures, and show that it attains state-of-the-art results. For instance, the ResNet18|ResNet50|MobileNetV2|ConvNeXt-Tiny model trained with KernelWarehouse on ImageNet reaches 76.05%|81.05%|75.52%|82.51% top-1 accuracy. Thanks to its flexible design, KernelWarehouse can even reduce the model size of a ConvNet while improving the accuracy, e.g., our ResNet18 model with 36.45%|65.10% parameter reduction to the baseline shows 2.89%|2.29% absolute improvement to top-1 accuracy.

研究动机与目标

• 为解决现有动态卷积方法在使用 n 个动态核时参数量随之增加 n 倍的参数低效问题。
• 克服因模型大小增长而仅能使用较小 n（例如 n < 10）的限制，从而支持更大 n（例如 n > 100）的探索，以提升表征能力。
• 利用卷积核中层内与层间参数依赖关系，在不按比例增加参数量的前提下增强表征能力。
• 设计一种灵活可扩展的架构，实现模型压缩与准确率提升的同步优化。

提出的方法

• KernelWarehouse 将每个卷积核划分为 m 个互不重叠的等大小核单元，降低每个核的维度。
• 定义一个跨多个卷积层复用的共享‘仓库’，包含 n 个核单元（例如 n = 108），实现层间参数共享。
• 每个核单元通过输入相关的注意力机制，以仓库单元的线性组合方式计算，采用一种新颖的注意力函数：α_ij = z_ij / Σ_p |z_ip|。
• 注意力机制通过温度缩放的 β_ij 进行初始化，以促进混合结果与仓库单元之间的一一对应关系，提升训练初期的稳定性。
• 引入一种新型注意力函数，允许负值以建模对抗性注意力关系，从而提升表征学习能力。
• 该架构支持灵活的超参数调优，通过缩放因子（如 1/2×, 1×, 4×）实现模型大小与准确率之间的权衡。

实验结果

研究问题

• RQ1 动态卷积能否在不按比例增加模型参数的前提下实现高表征能力？
• RQ2 能否利用卷积核中层内与层间参数依赖关系，在保持或提升性能的同时减少参数增长？
• RQ3 与每层独立的核集合相比，共享的全局核单元仓库是否能带来更好的泛化性与效率？
• RQ4 具有负值的新型注意力函数能否改善动态卷积中注意力关系的学习？
• RQ5 KernelWarehouse 是否能同时减少模型大小并提升准确率，尤其是在动态核数量增加时？

主要发现

• 在 ResNet50 上，KernelWarehouse 实现了 81.05% 的 ImageNet top-1 准确率，相比基线提升 2.61 个百分点，且参数量仅为 28.05M。
• 在 ResNet18 上，该方法将模型大小减少 65.10%（降至 9.2M 参数），同时 top-1 准确率提升 2.29%。
• 在 MobileNetV2 上，KernelWarehouse 实现 75.92% 的 top-1 准确率，参数量为 11.38M，相比基线准确率提升 3.90%，模型大小减少 67.5%。
• 所提出的注意力函数 α_ij = z_ij / Σ_p |z_ip| 在 top-1 准确率上相比 Softmax、Sigmoid 和 ReLU 基础变体提升 2.10–2.68%。
• 采用温度缩放初始化策略后，ResNet18 上 top-1 准确率提升 1.38%，证明其对训练初期稳定性的关键作用。
• 可视化结果表明，注意力机制学习到结构化、以对角线为主导的模式，表明混合结果与仓库单元之间实现了有效的单对-one 映射，且层内依赖强于层间依赖。