[论文解读] Einconv: Exploring Unexplored Tensor Decompositions for Convolutional Neural Networks
本文提出Einconv，一种系统性框架，通过灵活的图形化表示法，探索卷积神经网络（CNNs）中未被探索的张量分解方式。通过全面枚举并评估所有可能的分解模块——包括新型非线性变体——该框架识别出此前未知的网络结构，在准确率与效率的权衡上优于标准方法。
Tensor decomposition methods are widely used for model compression and fast inference in convolutional neural networks (CNNs). Although many decompositions are conceivable, only CP decomposition and a few others have been applied in practice, and no extensive comparisons have been made between available methods. Previous studies have not determined how many decompositions are available, nor which of them is optimal. In this study, we first characterize a decomposition class specific to CNNs by adopting a flexible graphical notation. The class includes such well-known CNN modules as depthwise separable convolution layers and bottleneck layers, but also previously unknown modules with nonlinear activations. We also experimentally compare the tradeoff between prediction accuracy and time/space complexity for modules found by enumerating all possible decompositions, or by using a neural architecture search. We find some nonlinear decompositions outperform existing ones.
研究动机与目标
- 识别并表征一类针对CNN的完整张量分解类别，包括已知和此前未知的架构。
- 系统性地比较所有可能的分解模块在模型准确率、推理时间与参数量之间的权衡。
- 确定新型非线性分解是否能超越CP分解和深度可分离卷积等既定方法。
- 探索使用神经架构搜索发现高性能分解模块的可行性。
提出的方法
- 作者定义了一种灵活的图形化表示法，用于表示并枚举适用于CNN的所有可能张量分解模块。
- 系统性地生成并评估所有有效的分解配置，包括带有非线性激活的配置。
- 该框架可直接比较所有枚举模块的准确率、浮点运算量（FLOPs）与参数量。
- 该方法包含对所有可能分解的全面枚举，以及一种神经架构搜索（NAS）方法，用于发现高性能配置。
- 图形化表示法可捕捉已知模块（如深度可分离卷积和瓶颈层），以及新型非线性变体。
实验结果
研究问题
- RQ1使用系统性的图形化表示法，可在CNN中构建多少种有效的张量分解模块？
- RQ2哪些分解模块——尤其是非线性模块——在准确率与效率的权衡上优于现有方法？
- RQ3神经架构搜索是否能有效发现定义搜索空间内的高性能分解模块？
- RQ4从分解配置的全面枚举中，会涌现出哪些新型架构模式？
主要发现
- 所提出的图形化表示法成功捕捉了已知的CNN模块（如深度可分离卷积和瓶颈层），以及此前未知的非线性分解结构。
- 发现了若干此前未被探索的非线性分解模块，其在准确率与效率方面优于标准的CP分解和深度可分离卷积。
- 全面枚举方法揭示了一个远超常用模块的丰富潜在分解模块空间。
- 神经架构搜索成功识别出高性能分解模块，验证了其在探索分解空间中的有效性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。