[论文解读] One Neuron Saved Is One Neuron Earned: On Parametric Efficiency of Quadratic Networks

Fenglei Fan, Hangcheng Dong+5 more|arXiv (Cornell University)|Mar 11, 2023

Neural Networks and Applications被引用 6

一句话总结

该论文表明，二次神经网络的优越性能并非源于参数量的增加，而是源于其内在的表达能力，尤其是在建模非线性相互作用方面。通过理论分析与实证验证，论文表明二次网络表现出参数效率——在较少参数下实现更高准确率，尤其在具有环形或流形结构数据的任务中表现优异，如图像分割与故障诊断。

ABSTRACT

Inspired by neuronal diversity in the biological neural system, a plethora of studies proposed to design novel types of artificial neurons and introduce neuronal diversity into artificial neural networks. Recently proposed quadratic neuron, which replaces the inner-product operation in conventional neurons with a quadratic one, have achieved great success in many essential tasks. Despite the promising results of quadratic neurons, there is still an unresolved issue: extit{Is the superior performance of quadratic networks simply due to the increased parameters or due to the intrinsic expressive capability?} Without clarifying this issue, the performance of quadratic networks is always suspicious. Additionally, resolving this issue is reduced to finding killer applications of quadratic networks. In this paper, with theoretical and empirical studies, we show that quadratic networks enjoy parametric efficiency, thereby confirming that the superior performance of quadratic networks is due to the intrinsic expressive capability. This intrinsic expressive ability comes from that quadratic neurons can easily represent nonlinear interaction, while it is hard for conventional neurons. Theoretically, we derive the approximation efficiency of the quadratic network over conventional ones in terms of real space and manifolds. Moreover, from the perspective of the Barron space, we demonstrate that there exists a functional space whose functions can be approximated by quadratic networks in a dimension-free error, but the approximation error of conventional networks is dependent on dimensions. Empirically, experimental results on synthetic data, classic benchmarks, and real-world applications show that quadratic models broadly enjoy parametric efficiency, and the gain of efficiency depends on the task.

研究动机与目标

• 确定二次网络的优越性能是否源于参数量的增加，还是其内在表达能力。
• 识别二次网络相较于传统网络在哪些任务中能实现显著的参数效率。
• 从理论与实证两方面验证，二次神经元相较于传统神经元能更高效地逼近复杂函数。
• 确立二次网络作为处理非线性相互作用与流形结构数据任务的可行且高效的替代方案。
• 通过展示二次神经元在参数扩展之外的实际优势，推动深度学习中的神经元多样性。

提出的方法

• 利用Sobolev空间与Barron空间对逼近效率进行理论分析，证明二次网络在维度上无依赖的误差界。
• 推导二次网络在实空间与流形上的逼近误差界，并与传统ReLU网络进行比较。
• 在合成数据（同心超球面、高斯混合）、基准数据集（ImageNet）以及真实世界任务（细胞分割、农业图像分割）上进行实证评估。
• 将二次神经元集成至成熟架构（U-Net、PSPNet、Unet++）中，以评估性能与参数效率。
• 采用ReLinear算法通过控制二次项的学习率，稳定二次网络的训练过程。
• 使用mIOU、F1、精确率、召回率与模型大小等指标进行模型比较，以量化参数效率。

Figure 1: The architecture of using a quadratic network to approximate an arbitrary function $f$ in $F_{n,d}$ .

实验结果

研究问题

• RQ1 二次网络性能的提升是源于参数量的增加，还是其内在表达能力？
• RQ2 在哪些类型的数据或任务中，二次网络的参数效率表现最为突出？
• RQ3 在高维设置下，二次网络是否能比传统网络更高效地逼近Sobolev空间与Barron空间中的函数？
• RQ4 在包含合成数据、基准数据与真实世界应用的多样化任务中，二次神经元的引入如何影响性能？
• RQ5 数据几何结构（如环形或流形结构数据）与二次网络的参数效率之间存在何种关系？

主要发现

• 在涉及环形或流形结构数据的任务中，如细胞与叶片分割，二次网络在参数更少的情况下显著优于传统网络。
• 在CVPPP叶片分割数据集上，QUnet以2445万参数实现83.40%的mIOU，优于标准U-Net（2581万参数，mIOU为80.58%）。
• 在滚动轴承故障诊断任务中，二次网络以更少的参数量实现高准确率，表明其具有强大的参数效率。
• 理论分析表明，二次网络能比传统网络更高效地逼近Sobolev空间单位球中的函数，尤其在流形上表现更优。
• Barron空间分析证实，二次网络可实现与维度无关的逼近误差，而传统网络则面临维度相关的误差增长。
• 参数效率在同心超球面、高斯混合与农业图像分割等任务中最为显著，研究中的效率评分最高达五颗星。

Figure 2: An overview of using a quadratic network to approximate function $h$ on a manifold.