[论文解读] IGCV$2$: Interleaved Structured Sparse Convolutional Neural Networks

Guotian Xie, Jingdong Wang+4 more|arXiv (Cornell University)|Apr 17, 2018

Machine Learning and ELM参考文献 2被引用 27

一句话总结

本文提出 IGCV$^2$，一种用于高效卷积神经网络的新颖模块，通过组合多个结构化稀疏卷积核，对交错分组卷积进行泛化。通过强制执行互补性和平衡性条件，IGCV$^2$ 在模型大小、计算成本和准确率之间实现了更优的权衡，在 ImageNet 上优于 Xception 和 MobileNet 变体，FLOPs 和参数量更少，同时保持高准确率。

ABSTRACT

In this paper, we study the problem of designing efficient convolutional neural network architectures with the interest in eliminating the redundancy in convolution kernels. In addition to structured sparse kernels, low-rank kernels and the product of low-rank kernels, the product of structured sparse kernels, which is a framework for interpreting the recently-developed interleaved group convolutions (IGC) and its variants (e.g., Xception), has been attracting increasing interests. Motivated by the observation that the convolutions contained in a group convolution in IGC can be further decomposed in the same manner, we present a modularized building block, {IGCV$2$:} interleaved structured sparse convolutions. It generalizes interleaved group convolutions, which is composed of two structured sparse kernels, to the product of more structured sparse kernels, further eliminating the redundancy. We present the complementary condition and the balance condition to guide the design of structured sparse kernels, obtaining a balance among three aspects: model size, computation complexity and classification accuracy. Experimental results demonstrate the advantage on the balance among these three aspects compared to interleaved group convolutions and Xception, and competitive performance compared to other state-of-the-art architecture design methods.

研究动机与目标

• 为了减少卷积核参数中的冗余，以实现高效的深度学习模型。
• 为了通过组合多于两个结构化稀疏核，对交错分组卷积（IGC）和 Xception 进行泛化。
• 为了建立设计原则——互补性和平衡性条件——以从稀疏组件中获得密集且高效的卷积核。
• 为了在轻量级 CNN 架构中实现模型大小、FLOPs 和分类准确率之间的平衡权衡。
• 为了在大规模图像分类基准（如 ImageNet）上展示更优的效率与性能。

提出的方法

• IGCV$^2$ 将密集卷积核构建为多个结构化稀疏卷积核的乘积，每个卷积核对应具有块对角稀疏性的分组卷积。
• 引入互补性条件，确保每个输出通道通过且仅通过一条路径连接到每个输入通道，从而保持卷积核的密度。
• 平衡性条件被定义为通过调节分组数量和稀疏模式来控制模型大小、FLOPs 和准确率之间的权衡。
• 架构在分组卷积之间使用置换矩阵，以实现路径多样性与卷积核组合。
• 该方法被模块化为块结构（如 IGCV$^2$-1.0、IGCV$^3$），可堆叠成完整网络，类似于 MobileNet 或 Xception。
• 设计支持线性与非线性块，深层块中包含跳跃连接和通道扩展。

实验结果

研究问题

• RQ1 多个结构化稀疏核的乘积是否能进一步减少冗余，超越 Xception 和 IGC 等现有方法？
• RQ2 互补性和平衡性条件如何被数学定义，以确保有效的卷积核组合与性能？
• RQ3 所提出的 IGCV$^2$ 模块是否在 ImageNet 上实现了优于最先进轻量级 CNN 的效率-准确率权衡？
• RQ4 模块化的 IGCV$^2$ 模块是否能与瓶颈结构有效结合，进一步提升性能？
• RQ5 与 MobileNet 和 Xception 相比，IGCV$^2$ 的性能在宽度乘数和网络深度变化时如何变化？

主要发现

• IGCV$^3$ 在宽度乘数为 1.0 时，在 ImageNet 上达到 72.2% 的 top-1 准确率，仅使用 350 万参数和 3.2 亿 FLOPs，优于 MobileNetV2-1.0（71.0% 准确率），在相似的 FLOP 和参数预算下表现更优。
• IGCV$^3$-0.7 在 200 万参数和 1.7 亿 FLOPs 下达到 68.46% 的 top-1 准确率，优于 MobileNetV2-0.7（66.57%），尽管模型更小。
• 采用宽松互补性条件的 IGCV$^2$ 模块在保持高性能的同时，支持灵活的分组配置，有利于高效硬件部署。
• 提出的互补性和平衡性条件能有效指导结构化稀疏卷积核的设计，确保输出卷积核的密集性，且不会过度增加模型大小或 FLOPs。
• IGCV$^2$-1.0 在模型大小小于 MobileNetV1 的情况下，实现了具有竞争力的 ImageNet 表现，证明了其高效性。
• 该方法通过允许在卷积核组合中使用多于两个结构化稀疏组件，对 Xception 和 IGC 进行了泛化，实现了进一步的冗余减少。