[论文解读] Loss Patterns of Neural Networks

Ivan Skorokhodov, Mikhail Burtsev|arXiv (Cornell University)|Oct 9, 2019

Advanced Neural Network Applications参考文献 9被引用 13

一句话总结

本文提出多点优化（MPO），一种内存高效的多模型联合训练方法，通过在权重向量的低维流形上进行优化，实现对损失景观的详细经验分析。主要发现是神经网络损失表面具有高度复杂且多样的特性，批量归一化显著平滑了景观，表现为在随机二值模式上的拟合质量下降。

ABSTRACT

We present multi-point optimization: an optimization technique that allows to train several models simultaneously without the need to keep the parameters of each one individually. The proposed method is used for a thorough empirical analysis of the loss landscape of neural networks. By extensive experiments on FashionMNIST and CIFAR10 datasets we demonstrate two things: 1) loss surface is surprisingly diverse and intricate in terms of landscape patterns it contains, and 2) adding batch normalization makes it more smooth. Source code to reproduce all the reported results is available on GitHub: https://github.com/universome/loss-patterns.

研究动机与目标

• 开发一种内存高效的神经网络损失景观多样化模式探索方法。
• 对神经网络损失表面的结构复杂性和平滑性进行经验分析。
• 研究批量归一化对损失景观规则性的影响。
• 在不存储单个模型参数的情况下，实现损失景观的大规模可视化。

提出的方法

• MPO 在高维权重空间中优化一个低维流形（例如二维平面），该流形由一组少量变量 θ 参数化，而非单独优化每个模型的权重。
• 该方法采用一种参数化方式，将 K 个权重向量排列在流形上，形成所需的二维图案（如二值图像），并将损失值映射为像素颜色。
• 通过使用流形的可微分参数化，最小化一个损失函数，以促使权重向量在损失值上匹配目标图案。
• 该方法允许在相同流形上同时训练多个模型，与标准训练相比，显著降低了内存使用。
• 关键创新在于使用一组约束，强制权重向量在损失景观中形成特定的空间图案，从而实现有针对性的探索。
• 为处理批量归一化与参数化之间的不兼容性，应用了一项小的技术性解决方案，详见附录 C。

实验结果

研究问题

• RQ1 是否能系统性地在神经网络权重空间中发现复杂且多样的损失景观模式？
• RQ2 损失表面的结构复杂性在不同数据集和架构之间如何变化？
• RQ3 批量归一化在多大程度上对损失景观起到正则化和平滑作用？
• RQ4 能否通过单一优化过程高效探索参数空间中的多个点，而无需存储单个模型参数？

主要发现

• 神经网络的损失表面包含高度复杂且多样的图案，包括低损失与高损失区域的复杂非均匀排列，这通过在 FashionMNIST 和 CIFAR10 上成功拟合多种二值图案得到验证。
• 损失表面多样性是完整风险泛函的属性，而不仅仅是经验损失的属性，因为在训练集上找到的图案与测试集上的图案高度一致。
• 未使用批量归一化的模型能够以高精度拟合随机二值图案（例如填充概率为 0.5 的图案），表明其损失景观高度不规则且复杂。
• 使用批量归一化的模型在相同复杂图案上的拟合精度显著降低，表明其损失景观更加平滑、更具规则性。
• 未使用批量归一化的模型在黑色与白色像素之间的平均准确率差异始终更高，证实其增加了景观的不规则性。
• 尽管在测试集上准确率更高，使用批量归一化的模型在适应任意图案方面能力更弱，进一步支持其提升了景观平滑性的结论。