[论文解读] AutoShuffleNet: Learning Permutation Matrices via an Exact Lipschitz Continuous Penalty in Deep Convolutional Neural Networks

Jiancheng Lyu, Shuai Zhang+2 more|arXiv (Cornell University)|Jan 24, 2019

Advanced Neural Network Applications参考文献 20被引用 9

一句话总结

该论文提出 AutoShuffleNet，一种通过整合基于矩阵 ℓ₁₋₂ 范数的精确利普希茨连续非凸惩罚项，以在轻量级 CNN（如 ShuffleNet）中学习通道混洗的最优排列矩阵的方法。该惩罚项支持通过 SGD 进行端到端训练，训练后通过四舍五入恢复精确排列，实现在 CIFAR-10 和 ImageNet 上的一致精度提升，且松弛混洗带来的精度损失可忽略不计。

ABSTRACT

ShuffleNet is a state-of-the-art light weight convolutional neural network architecture. Its basic operations include group, channel-wise convolution and channel shuffling. However, channel shuffling is manually designed empirically. Mathematically, shuffling is a multiplication by a permutation matrix. In this paper, we propose to automate channel shuffling by learning permutation matrices in network training. We introduce an exact Lipschitz continuous non-convex penalty so that it can be incorporated in the stochastic gradient descent to approximate permutation at high precision. Exact permutations are obtained by simple rounding at the end of training and are used in inference. The resulting network, referred to as AutoShuffleNet, achieved improved classification accuracies on CIFAR-10 and ImageNet data sets. In addition, we found experimentally that the standard convex relaxation of permutation matrices into stochastic matrices leads to poor performance. We prove theoretically the exactness (error bounds) in recovering permutation matrices when our penalty function is zero (very small). We present examples of permutation optimization through graph matching and two-layer neural network models where the loss functions are calculated in closed analytical form. In the examples, convex relaxation failed to capture permutations whereas our penalty succeeded.

研究动机与目标

• 通过在训练过程中学习排列矩阵，实现轻量级 CNN 中通道混洗的自动化，而非使用固定的手动设计排列。
• 解决在基于连续 SGD 的训练框架中优化离散排列矩阵的挑战。
• 开发一种精确且利普希茨连续的排列矩阵非凸松弛方法，以支持基于梯度的优化。
• 证明凸松弛方法（如双随机矩阵）在深度学习设置中无法捕捉有用的排列。
• 表明通过所提惩罚项学习到的排列优于人工设计的混洗方式在分类精度上的表现。

提出的方法

• 引入矩阵 ℓ₁₋₂ 惩罚函数作为排列矩阵的非凸松弛，定义为矩阵所有行和列的 ℓ₁₋₂ 范数之和。
• 将优化约束在伯克霍夫多面体（双随机矩阵）内，以确保可行性并实现利普希茨连续性。
• 将惩罚项整合到损失函数中，引入超参数 λ，支持通过 SGD 进行端到端反向传播。
• 采用两阶段训练流程：先使用松弛矩阵进行训练，然后通过阈值化和矩阵缩放，将最终矩阵通过四舍五入投影为排列矩阵。
• 将该方法应用于 ShuffleNet 架构，在组卷积中学习通道混洗的排列矩阵。
• 利用小规模问题的解析闭式解，验证该方法的有效性。

实验结果

研究问题

• RQ1 能否在训练过程中通过基于梯度的优化，有效学习轻量级 CNN 中通道混洗的排列矩阵？
• RQ2 基于矩阵 ℓ₁₋₂ 范数的非凸精确惩罚函数是否在深度学习中优于双随机矩阵等凸松弛方法？
• RQ3 所提出的惩罚函数能否在保持利普希茨连续性的同时集成到 SGD 中，以实现稳定训练？
• RQ4 将松弛矩阵四舍五入为精确排列对真实模型推理精度的影响如何？
• RQ5 所学习的排列矩阵与人工设计的混洗方式相比，在标准基准上的分类性能如何？

主要发现

• AutoShuffleNet 在 CIFAR-10 和 ImageNet 数据集上均实现了相对于人工设计混洗的一致精度提升，其中在 ShuffleNet v2 (1.5×) 上分别达到最高 0.48% 和 0.58% 的准确率增益。
• 将松弛混洗四舍五入为精确排列所导致的相对误差可忽略不计，CIFAR-10 上低至 -1.07×10⁻³，ImageNet 上低至 -2.83×10⁻⁵。
• 在 CIFAR-10 上，AutoShuffleNet 的验证准确率与松弛混洗的准确率相差仅 0.000215%，表明四舍五入后精度损失极小。
• 训练过程中 ℓ₁₋₂ 惩罚值显著下降，在 λ=10⁻³ 时达到 5.07×10⁻²，表明模型收敛于排列矩阵。
• 将排列矩阵凸松弛为双随机矩阵的方法未能产生有用的排列，即使经过四舍五入后性能仍差；而所提方法成功实现了性能提升。
• 在两层神经网络回归任务中，所提方法找到了最优排列，而基于凸松弛与四舍五入的方法则失败。