[论文解读] DHP: Differentiable Meta Pruning via HyperNetworks

Yawei Li, Shuhang Gu+3 more|Lirias (KU Leuven)|Mar 30, 2020

Image Processing Techniques and Applications参考文献 65被引用 12

一句话总结

本文提出DHP，一种可微分的元剪枝方法，通过超网络自动剪枝神经网络，利用学习得到的稀疏潜在向量控制通道剪枝率。通过在这些潜在向量上应用ℓ₁正则化和邻近梯度优化，该方法实现了端到端、可微分的剪枝，在图像分类、超分辨率和去噪任务中均实现了更高的准确率，同时降低了FLOPs和参数量。

ABSTRACT

Network pruning has been the driving force for the acceleration of neural networks and the alleviation of model storage/transmission burden. With the advent of AutoML and neural architecture search (NAS), pruning has become topical with automatic mechanism and searching based architecture optimization. Yet, current automatic designs rely on either reinforcement learning or evolutionary algorithm. Due to the non-differentiability of those algorithms, the pruning algorithm needs a long searching stage before reaching the convergence. To circumvent this problem, this paper introduces a differentiable pruning method via hypernetworks for automatic network pruning. The specifically designed hypernetworks take latent vectors as input and generate the weight parameters of the backbone network. The latent vectors control the output channels of the convolutional layers in the backbone network and act as a handle for the pruning of the layers. By enforcing $\ell_1$ sparsity regularization to the latent vectors and utilizing proximal gradient solver, sparse latent vectors can be obtained. Passing the sparsified latent vectors through the hypernetworks, the corresponding slices of the generated weight parameters can be removed, achieving the effect of network pruning. The latent vectors of all the layers are pruned together, resulting in an automatic layer configuration. Extensive experiments are conducted on various networks for image classification, single image super-resolution, and denoising. And the experimental results validate the proposed method.

研究动机与目标

• 解决如强化学习和进化算法等非可微分自动剪枝方法收敛缓慢的问题。
• 实现端到端、可微分的网络剪枝，支持自动、逐层的通道配置。
• 设计一种输出尺寸依赖于输入潜在向量的超网络架构，以实现动态剪枝。
• 通过稀疏潜在向量联合剪枝所有层，实现FLOPs和参数量的一致性减少。
• 证明在相同计算预算下，自动剪枝模型的性能可超越原始模型。

提出的方法

• 训练一个超网络，根据可学习的潜在向量作为输入，生成主干网络的权重参数。
• 每个潜在向量控制对应卷积层的输出通道数，作为剪枝的控制手柄。
• 对潜在向量应用ℓ₁稀疏性正则化以促进剪枝，并使用邻近梯度求解器进行优化。
• 将稀疏化的潜在向量输入超网络，通过移除对应通道切片生成剪枝后的权重矩阵。
• 整个系统通过反向传播进行端到端训练，实现可微分的架构搜索。
• 该方法通过优化单一组潜在向量，实现所有层的联合、自动剪枝。

实验结果

研究问题

• RQ1 能否设计一种可微分、端到端的剪枝方法，避免强化学习和进化算法的收敛缓慢问题？
• RQ2 能否设计出输出尺寸依赖于输入潜在向量的超网络，以实现动态的、通道级别的剪枝？
• RQ3 通过稀疏潜在向量实现的自动、逐层通道配置，是否能带来比固定宽度架构更优的模型效率和准确率？
• RQ4 所提方法能否在保持或提升准确率的同时，实现FLOPs和参数量的一致性减少？
• RQ5 自动剪枝机制是否能生成在准确率和效率方面优于更大规模基线模型的模型？

主要发现

• 在所有FLOPs和参数量压缩比率下，DHP在Top-1准确率上均优于原始MobileNet（宽度乘数α=1）。
• 在MobileNet上，即使在100% FLOPs压缩比率下，DHP模型的准确率仍高于基线模型，表明其效率更高。
• 在图像超分辨率任务中，DHP-20在Set5数据集上达到32.85的PSNR，推理时间仅14.10ms，显著降低运行时间同时保持高质量。
• 在图像去噪任务中，DHP-20将FLOPs降低至0.75G，128×128图像的推理时间缩短至1.61ms，同时在UNet架构上保持PSNR为25.04dB。
• 该方法实现了FLOPs和参数量的一致性减少，避免了如Group [47]等方法仅减少FLOPs但未降低实际运行时间的低效问题。
• 视觉结果表明，DHP生成的图像与基线模型几乎无法区分，证实了其高感知质量。