[论文解读] EigenDamage: Structured Pruning in the Kronecker-Factored Eigenbasis

Chaoqi Wang, Roger Grosse+2 more|arXiv (Cornell University)|May 15, 2019

Advanced Neural Network Applications被引用 30

一句话总结

EigenDamage 通过在 Kronecker 分解特征基（KFE）中重参数化层，实现了结构化神经网络剪枝，其中 Hessian 矩阵近似对角化，从而实现高效的基于 Hessian 的结构化剪枝。该方法在 wide ResNet32 上实现了高达 10 倍的模型尺寸压缩和 8 倍的 FLOPs 减少，且精度损失可忽略不计，尤其在具有挑战性的数据集和网络上优于基线方法。

ABSTRACT

Reducing the test time resource requirements of a neural network while preserving test accuracy is crucial for running inference on resource-constrained devices. To achieve this goal, we introduce a novel network reparameterization based on the Kronecker-factored eigenbasis (KFE), and then apply Hessian-based structured pruning methods in this basis. As opposed to existing Hessian-based pruning algorithms which do pruning in parameter coordinates, our method works in the KFE where different weights are approximately independent, enabling accurate pruning and fast computation. We demonstrate empirically the effectiveness of the proposed method through extensive experiments. In particular, we highlight that the improvements are especially significant for more challenging datasets and networks. With negligible loss of accuracy, an iterative-pruning version gives a 10$ imes$ reduction in model size and a 8$ imes$ reduction in FLOPs on wide ResNet32.

研究动机与目标

• 解决在不牺牲精度的前提下，针对资源受限推理的高效结构化神经网络剪枝挑战。
• 克服基于 Hessian 的剪枝在参数空间中的局限性，其中权重耦合会降低剪枝精度和计算效率。
• 实现低秩、瓶颈结构的网络压缩，自然支持标准硬件和软件的加速。
• 开发一种损失感知方法，能根据全局压缩比率自动确定各层的秩，避免手动调参。
• 在 CIFAR100 和 Tiny-ImageNet 等具有挑战性的数据集上展示优越性能，这些数据集因模型复杂度高而使先前方法表现不佳。

提出的方法

• 使用 Kronecker 分解特征基（KFE）对全连接层和卷积层进行重参数化，使 Hessian 矩阵近似对角化。
• 在 KFE 坐标系中应用最优神经元剪枝（OBD）和最优神经元手术（OBS）剪枝准则，此时权重近似独立。
• 通过基于 KFE 中 Hessian 敏感度的通道级结构化剪枝，移除整个通道，从而生成低秩、瓶颈层结构。
• 采用受 Desjardins 等人（2015）启发的新颖网络重参数化方法，显式地以 KFE 表示每一层，从而实现高效计算。
• 引入迭代剪枝策略，每层剪枝上限为 50%，以避免过度剪枝，并在每次迭代后允许微调。
• 通过校准全局剪枝比率，自动确定每层的最优秩，确保各层压缩一致性，无需手动指定秩。

实验结果

研究问题

• RQ1 通过将坐标系转换为权重依赖性最小化的空间，能否使基于 Hessian 的结构化剪枝更准确且更高效？
• RQ2 在 Kronecker 分解特征基（KFE）中剪枝是否相比标准参数空间剪枝能带来更好的泛化性能和更低的 FLOPs？
• RQ3 与 CP 分解等低秩近似方法相比，EigenDamage 在精度、加速比和损失感知性方面表现如何？
• RQ4 EigenDamage 是否能在 Tiny-ImageNet 等具有挑战性的数据集和 ResNet 等复杂架构上实现显著压缩，且精度损失极小？
• RQ5 在相同压缩比率下，EigenDamage 的自动秩选择机制是否优于低秩方法中的人工秩调优？

主要发现

• 在 wide ResNet32 上，EigenDamage 实现了模型尺寸 10 倍的减少和 FLOPs 8 倍的减少，精度损失可忽略不计，展现出强大的压缩效率。
• 在 CIFAR100 和 Tiny-ImageNet 上，EigenDamage 显著优于最先进基线方法，包括 C-OBD、C-OBS、Kron-OBD 和 Kron-OBS，尤其在如 ResNet 这类更深的网络上表现更优。
• 采用迭代剪枝策略后，EigenDamage 稳定提升性能，且在更复杂的数据集和架构上观察到最大改进。
• 即使不进行微调，EigenDamage 在精度和加速比方面也优于 CP 分解，这得益于其损失感知特性与自动秩选择机制。
• 该方法在各层间实现了均衡的剪枝比例，相比 NN Slimming 等方法更保留了顶层的滤波器（因特征紧凑性至关重要），避免了对底层的过度剪枝。
• EigenDamage 的自动秩选择机制消除了手动调参的需求，相比需逐层指定秩的低秩方法，显著降低了搜索复杂度。