[论文解读] Butterfly-Net: Optimal Function Representation Based on Convolutional Neural Networks

Yingzhou Li, Xiuyuan Cheng+1 more|arXiv (Cornell University)|May 18, 2018

Model Reduction and Neural Networks参考文献 44被引用 17

一句话总结

本文提出Butterfly-net，一种基于快速蝴蝶算法启发的结构化稀疏跨通道连接的低复杂度卷积神经网络。该网络在逼近傅里叶核时实现指数级误差衰减，并以模型复杂度O(K log N)和计算复杂度O(N log N)实现最优函数表示，显著减少了参数量，同时在准确率上保持与标准CNN相当的水平。

ABSTRACT

Deep networks, especially convolutional neural networks (CNNs), have been successfully applied in various areas of machine learning as well as to challenging problems in other scientific and engineering fields. This paper introduces Butterfly-Net, a low-complexity CNN with structured and sparse cross-channel connections, together with a Butterfly initialization strategy for a family of networks. Theoretical analysis of the approximation power of Butterfly-Net to the Fourier representation of input data shows that the error decays exponentially as the depth increases. Combining Butterfly-Net with a fully connected neural network, a large class of problems are proved to be well approximated with network complexity depending on the effective frequency bandwidth instead of the input dimension. Regular CNN is covered as a special case in our analysis. Numerical experiments validate the analytical results on the approximation of Fourier kernels and energy functionals of Poisson's equations. Moreover, all experiments support that training from Butterfly initialization outperforms training from random initialization. Also, adding the remaining cross-channel connections, although significantly increase the parameter number, does not much improve the post-training accuracy and is more sensitive to data distribution.

研究动机与目标

• 开发一种具有结构化稀疏性的低复杂度CNN架构，实现在科学计算与信号处理中的最优函数表示。
• 分析网络在逼近傅里叶核及其相关泛函时的逼近能力，尤其关注在偏微分方程（PDEs）和积分算子背景下的表现。
• 证明Butterfly-net的模型复杂度随有效频带带宽K而非输入维度N增长，从而在高维问题中提升效率。
• 评估蝴蝶初始化在训练深层网络进行函数逼近任务时，相较于随机初始化的优越性。
• 从参数效率、准确率和分布偏移下的泛化能力角度，对比Butterfly-net与标准CNN及Inflated-Butterfly-net的表现。

提出的方法

• 设计一种基于蝴蝶结构的分层多尺度CNN架构，采用卷积层与转置卷积层，并结合递归插值方法。
• 提出一种结构化的蝴蝶初始化方法，将傅里叶变换操作直接编码至网络权重中，实现傅里叶系数的精确计算。
• 实现稀疏的跨通道连接，其中每个通道对应一个特定的频率带，从而在保持逼近能力的同时减少参数量。
• 构建Inflated-Butterfly-net变体，采用密集的跨通道连接，以对比参数效率与性能表现。
• 使用任务特定的输出头层（如平方和层或全连接-全连接层），以表示泊松方程的能量泛函等函数泛函。
• 从蝴蝶初始化和随机初始化两种方式训练网络，并对比其在训练后准确率与分布偏移下的泛化能力。

实验结果

研究问题

• RQ1 具有结构化稀疏跨通道连接的CNN是否能在网络深度增加时，实现对傅里叶核逼近误差的指数级衰减？
• RQ2 Butterfly-net的模型复杂度是否随有效频带带宽K而非输入维度N增长，从而提升样本效率？
• RQ3 在函数逼近任务中，蝴蝶初始化相较于随机初始化在收敛速度与最终准确率方面表现如何？
• RQ4 在Inflated-Butterfly-net中增加密集跨通道连接后，准确率提升程度如何？这种提升是否足以抵消参数量的显著增加？
• RQ5 Butterfly-net在数据分布发生偏移时，相较于标准CNN的泛化能力如何？

主要发现

• Butterfly-net在增加网络深度时，对傅里叶核的逼近误差实现指数级衰减，且得到理论与数值结果的双重验证。
• 模型复杂度为O(K log N)，计算复杂度为O(N log N)，其中K为有效频带带宽，N为输入长度，与标准CNN相比显著减少了参数量。
• 采用蝴蝶初始化的Butterfly-net在逼近离散傅里叶变换及泊松方程能量泛函方面，优于随机初始化。
• 尽管Inflated-Butterfly-net的参数量高出数个数量级，其训练后准确率仅比Butterfly-net有微小提升。
• 在存在分布偏移的迁移学习设置中，Butterfly-net的泛化能力优于Inflated-Butterfly-net，表明其具备更强的鲁棒性。
• 任务头中的平方和层可实现对某些泛函的精确表示，从而在逼近精度上优于全连接-全连接层。