[论文解读] Why do Larger Models Generalize Better? A Theoretical Perspective via the XOR Problem

Alon Brutzkus, Amir Globerson|arXiv (Cornell University)|Oct 6, 2018

Neural Networks and Applications被引用 26

一句话总结

本文通过识别两个关键机制——初始化时的特征探索增强和训练过程中的权重聚类——解释了为何过参数化的 ReLU 网络比较小的网络泛化性能更好。在对一个 3 层卷积网络在类似 XOR 的检测任务上的理论分析中，作者表明过参数化使梯度下降能够收敛到泛化性能更优的全局最小值，该结论在 MNIST 数据集上通过实证验证，更大的网络表现出聚类现象和更优的测试性能。

ABSTRACT

Empirical evidence suggests that neural networks with ReLU activations generalize better with over-parameterization. However, there is currently no theoretical analysis that explains this observation. In this work, we provide theoretical and empirical evidence that, in certain cases, overparameterized convolutional networks generalize better than small networks because of an interplay between weight clustering and feature exploration at initialization. We demonstrate this theoretically for a 3-layer convolutional neural network with max-pooling, in a novel setting which extends the XOR problem. We show that this interplay implies that with overparamterization, gradient descent converges to global minima with better generalization performance compared to global minima of small networks. Empirically, we demonstrate these phenomena for a 3-layer convolutional neural network in the MNIST task.

研究动机与目标

• 解释一个经验观察：尽管过参数化的 ReLU 网络在训练误差上达到零，但其泛化性能仍优于较小的网络。
• 识别使过参数化模型实现更好泛化的潜在机制——特征探索和权重聚类。
• 为经典 XOR 问题中使用 ReLU 激活函数的梯度下降提供首个理论收敛保证。
• 在真实世界数据（MNIST 数据集）上验证理论洞见，展示聚类和探索效应的可迁移性。

提出的方法

• 对一个 3 层卷积网络（含 ReLU、最大池化和全连接层）在高维 XOR 检测问题（XORD）上的理论分析。
• 提出 XORD 问题作为经典 XOR 问题的扩展，用于建模高维输入中的二值模式检测。
• 证明过参数化网络因对特征探测器的更好探索以及权重向量向原型聚类，从而实现更优的泛化。
• 利用概率界和集中不等式，表明更大的网络有更高概率收敛到全局最小值且测试误差为零。
• 在 MNIST 上进行实证验证，使用 120 个通道（大）和 4 个通道（小）的网络，比较随机初始化与基于聚类的初始化。
• 通过权重到最近中心的夹角分布测量权重聚类，并比较不同初始化方式和网络规模下的测试误差。

实验结果

研究问题

• RQ1 为何过参数化的 ReLU 网络即使在训练误差为零的情况下，其泛化性能仍优于较小的网络？
• RQ2 在过参数化模型中，究竟是特征探索还是权重聚类机制主导了泛化性能的提升？
• RQ3 在经典 XOR 问题中，使用 ReLU 激活函数的梯度下降能否收敛到全局最小值且测试误差为零？在何种条件下可以实现？
• RQ4 XORD 问题中的理论洞见在多大程度上可迁移到真实世界数据集（如 MNIST）？
• RQ5 若使用大网络中提取的聚类原型初始化小网络，是否能提升其泛化性能？

主要发现

• 过参数化网络泛化性能更优，是因为其在初始化时能探索更广泛的特征探测器集合，并在训练中表现出权重聚类，从而限制有效模型容量并提升泛化能力。
• 在 XORD 问题中，即使训练误差为零，更大的网络仍比更小的网络具有更低的测试误差，表明过参数化导致了泛化差距。
• 理论分析证明，在特定分布假设下，梯度下降可在 XOR 问题中收敛到全局最小值且测试误差为零，这是首个针对 ReLU 网络在该问题上的收敛性保证。
• MNIST 上的实证结果表明，大网络（120 个通道）表现出强烈的权重聚类，而使用聚类初始化的较小网络（4 个通道）的测试准确率显著优于随机初始化的小网络。
• 当小网络使用从大网络中提取的聚类滤波器进行初始化时，其测试误差显著降低，证实了聚类原型在泛化中的关键作用。
• 随着过参数化程度提高，收敛到全局最小值且测试误差为零的概率也随之增加，这一结论由样本复杂度和收敛概率的界所支持。