[论文解读] Loss Surface Simplexes for Mode Connecting Volumes and Fast Ensembling

Gregory W. Benton, Wesley J. Maddox+2 more|arXiv (Cornell University)|Feb 25, 2021

Model Reduction and Neural Networks参考文献 26被引用 5

一句话总结

该论文提出单纯形逐点随机优化（SPRO），用于在深度神经网络损失曲面中发现低损失解的多维单纯形复形，从而通过集成SPRO（ESPRO）实现快速集成。ESPRO在准确率、校准性和对数据集分布偏移的鲁棒性方面优于深度集成方法，通过从几何定义的单纯形中高效采样多样且低损失的模型，仅需从预训练模型开始进行少量训练周期即可实现。

ABSTRACT

With a better understanding of the loss surfaces for multilayer networks, we can build more robust and accurate training procedures. Recently it was discovered that independently trained SGD solutions can be connected along one-dimensional paths of near-constant training loss. In this paper, we show that there are mode-connecting simplicial complexes that form multi-dimensional manifolds of low loss, connecting many independently trained models. Inspired by this discovery, we show how to efficiently build simplicial complexes for fast ensembling, outperforming independently trained deep ensembles in accuracy, calibration, and robustness to dataset shift. Notably, our approach only requires a few training epochs to discover a low-loss simplex, starting from a pre-trained solution. Code is available at https://github.com/g-benton/loss-surface-simplexes.

研究动机与目标

• 理解深度神经网络损失曲面的几何结构，超越孤立极小值或一维连接路径。
• 识别连接多个独立训练模型的大量多维流形（单纯形复形）的低损失解。
• 提出一种高效方法，从预训练模型出发发现这些低损失单纯形复形。
• 利用所发现的几何结构，构建一种更快、更准确且不确定性校准性更好的集成方法。
• 证明在单纯形内采样可实现优于深度集成和贝叶斯基线的最先进性能。

提出的方法

• 提出SPRO作为随机优化方法，通过在预训练模型参数空间周围迭代寻找低损失点，逐步构建单纯形复形。
• 该方法利用随机游走和损失评估，识别出在凸包内所有点均保持均匀低训练损失的顶点。
• 单纯形复形由其边界顶点定义，从而可直接计算单纯形的维度与体积。
• ESPRO通过在发现的单纯形内均匀采样模型参数生成集成，确保模型多样性与低损失。
• 该方法设计为深度集成的即插即用替代方案，仅需在预训练后增加少量额外训练周期。
• 不确定性量化通过单纯形上的预测分布实现，以均匀先验近似贝叶斯模型平均。

实验结果

研究问题

• RQ1 损失曲面中是否存在连接多个独立训练模型的多维流形，且通过单一低损失区域相连？
• RQ2 能否在实际训练时间内高效发现这些高维、低损失的单纯形复形？
• RQ3 从这些几何结构中采样是否能带来优于标准深度集成的泛化性能与不确定性校准？
• RQ4 通过单纯形采样形成的集成在数据集分布偏移下的性能，与最先进贝叶斯和集成方法相比如何？
• RQ5 能否利用损失曲面的几何结构在不增加额外训练的情况下提升模型校准性与鲁棒性？

主要发现

• 深度神经网络的损失曲面中存在大范围的多维低损失单纯形复形，可连接任意数量的独立训练模型，挑战了孤立极小值或一维连接路径的传统观点。
• SPRO仅需从预训练模型出发进行少量训练周期，即可成功发现这些低损失单纯形复形，实现快速且可扩展的探索。
• 通过在发现的单纯形内采样形成的ESPRO集成，在多个基准测试中准确率均高于标准深度集成，包括在高斯噪声污染下的CIFAR-10数据集。
• ESPRO展现出更优的校准性能，经温度缩放后，其期望校准误差（ECE）和负对数似然（NLL）均低于MultiSWAG和MultiSWA。
• 在定性回归任务中，ESPRO生成的不确定性带优于深度集成和Izmailov等人（2019）提出的最先进子空间方法，尤其在缺失数据区域表现更优。
• 该方法在多种数据集分布偏移场景下均表现出稳健性能，证实其在实际部署中应对分布偏移的实用性。