[论文解读] Decoupling Gating from Linearity

Jonathan Fiat, Eran Malach+1 more|arXiv (Cornell University)|Jun 12, 2019

Stochastic Gradient Optimization Techniques参考文献 26被引用 12

一句话总结

本文提出了门控线性单元（GaLU），一种简化后的神经网络单元，通过将ReLU网络中线性变换与门控机制解耦，实现了更优的泛化与记忆化边界。通过为线性部分和门控部分分别分配独立的权重向量，GaLU实现了更紧致的泛化与记忆化边界——在d维空间中记忆m个样本时，仅需$\frac{m}{d}$个神经元即可实现零损失，展现出理论与实践之间极强的一致性。

ABSTRACT

ReLU neural-networks have been in the focus of many recent theoretical works, trying to explain their empirical success. Nonetheless, there is still a gap between current theoretical results and empirical observations, even in the case of shallow (one hidden-layer) networks. For example, in the task of memorizing a random sample of size $m$ and dimension $d$, the best theoretical result requires the size of the network to be $ ildeΩ(\frac{m^2}{d})$, while empirically a network of size slightly larger than $\frac{m}{d}$ is sufficient. To bridge this gap, we turn to study a simplified model for ReLU networks. We observe that a ReLU neuron is a product of a linear function with a gate (the latter determines whether the neuron is active or not), where both share a jointly trained weight vector. In this spirit, we introduce the Gated Linear Unit (GaLU), which simply decouples the linearity from the gating by assigning different vectors for each role. We show that GaLU networks allow us to get optimization and generalization results that are much stronger than those available for ReLU networks. Specifically, we show a memorization result for networks of size $ ildeΩ(\frac{m}{d})$, and improved generalization bounds. Finally, we show that in some scenarios, GaLU networks behave similarly to ReLU networks, hence proving to be a good choice of a simplified model.

研究动机与目标

• 弥合ReLU网络在记忆化任务中理论边界与实际性能之间的差距。
• 指出ReLU神经元中线性与门控组件共享权重向量的联合训练方式，限制了理论分析的深入。
• 提出一种简化模型GaLU，通过解耦线性与门控部分，实现更强的理论结果。
• 证明GaLU网络在泛化与记忆化边界方面优于ReLU网络。
• 通过实证评估GaLU，检验其在实际场景（包括线性与非线性任务）中与ReLU网络的相似性。

提出的方法

• 将ReLU神经元分解为线性函数与二值门的乘积：$[\mathbf{x}^\top\mathbf{w}]_+ = \mathbf{1}_{\{\mathbf{x}^\top\mathbf{w} \geq 0\}} \cdot (\mathbf{x}^\top\mathbf{w})$。
• 引入门控线性单元（GaLU），其线性部分与门控部分使用独立的权重向量。
• 利用随机特征与核方法的工具分析GaLU网络，证明其具备改进的泛化与记忆化边界。
• 建立理论记忆化结果：GaLU网络在d维空间中记忆m个样本，所需神经元数量为$\tilde{\Omega}(\tfrac{m}{d})$。
• 在合成数据、线性可分数据、MNIST、Fashion-MNIST以及奇偶性任务上训练并比较GaLU与ReLU网络。
• 使用二分查找确定实现零损失所需的最小网络宽度，并报告多次运行的平均测试准确率。

实验结果

研究问题

• RQ1 为何ReLU网络的理论边界显著高估了记忆化任务中所需的神经元数量，而实际观察结果却低得多？
• RQ2 能否通过解耦ReLU神经元中的线性与门控组件，构建一个更简化且具备更强理论保证的模型？
• RQ3 在真实数据集上，GaLU网络与ReLU网络在记忆化、泛化与学习性能方面表现如何？
• RQ4 在何种场景下GaLU与ReLU网络行为相似或相异？这对其作为简化模型的有效性有何启示？
• RQ5 在参数量不足的设定下，GaLU网络中参数数量与泛化性能之间存在何种关系？

主要发现

• GaLU网络在d维空间中记忆m个随机样本时，仅需$\tilde{\Omega}(\tfrac{m}{d})$个神经元即可实现零训练损失，与实际观察结果一致。
• 在参数量不足的设定下，GaLU损失表现为$1 - \tfrac{kd}{m}$，而ReLU损失下界为$1 - 2\tfrac{kd}{m}$，表明ReLU在参数效率上存在常数因子的劣势。
• 在可线性分离的数据上，GaLU与ReLU网络均达到高测试准确率，ReLU略占优势。
• 在MNIST与Fashion-MNIST数据集上，GaLU与ReLU网络均实现高测试准确率，ReLU网络表现略优。
• 在奇偶性任务上，GaLU与ReLU网络均无法泛化，仅达到随机水平的性能，表明其在学习复杂非线性函数方面存在局限。
• 实证结果表明，GaLU与ReLU网络实现收敛所需的最小神经元数量均约为$\tfrac{m}{d}$，验证了GaLU的理论边界。