[论文解读] Explaining Landscape Connectivity of Low-cost Solutions for Multilayer Nets

Rohith Kuditipudi, Xiang Wang+6 more|arXiv (Cornell University)|Jan 1, 2019

Stochastic Gradient Optimization Techniques被引用 29

一句话总结

本文通过利用在训练良好的多层网络中普遍存在的一般性特性（如丢弃稳定性和噪声稳定性），解释了深度神经网络中的模式连接现象——即最优解通过低损失路径相连。作者提供了一个理论框架，表明在现实条件下，这种连接性自然产生，并通过在实际深度网络上的实验得到验证。

ABSTRACT

Mode connectivity is a surprising phenomenon in the loss landscape of deep nets. Optima---at least those discovered by gradient-based optimization---turn out to be connected by simple paths on which the loss function is almost constant. Often, these paths can be chosen to be piece-wise linear, with as few as two segments. We give mathematical explanations for this phenomenon, assuming generic properties (such as dropout stability and noise stability) of well-trained deep nets, which have previously been identified as part of understanding the generalization properties of deep nets. Our explanation holds for realistic multilayer nets, and experiments are presented to verify the theory.

研究动机与目标

• 理解为何深度神经网络中的最优解在损失景观中通过低损失路径相连，这一现象被称为模式连接性。
• 通过训练良好的深度网络中普遍存在的经验性特性（如丢弃稳定性与噪声稳定性）解释这种连接性。
• 为模式连接性提供一个适用于真实多层架构的理论基础，而非仅限于简化模型。
• 通过标准深度学习设置中的实验验证该理论，确认最优解之间存在简单且低损失的路径。

提出的方法

• 在丢弃稳定性与噪声稳定性（在训练良好的深度网络中常见）的假设下进行理论分析。
• 推导出两个最优模型可通过损失几乎恒定的分段线性路径连接的条件。
• 分析聚焦于损失景观的几何结构，特别是损失沿训练模型之间线性插值的演变行为。
• 该框架适用于具有标准激活函数和权重初始化的多层前馈网络。
• 理论结果通过在标准深度学习基准上的实证验证支持，展示了仅需极少段数的低损失路径。

实验结果

研究问题

• RQ1 为何深度神经网络中的最优解在损失景观中倾向于通过低损失路径相连？
• RQ2 训练良好的深度网络的哪些内在特性导致了这种模式连接性？
• RQ3 模式连接性能否通过如丢弃和噪声稳定性等通用、经验观测到的特性来解释？
• RQ4 该理论解释是否适用于真实的多层网络架构？

主要发现

• 深度网络中的模式连接性源于丢弃稳定性与噪声稳定性等通用特性，而非特定架构的产物。
• 最优解可通过仅包含两个线段的分段线性路径连接，且全程损失几乎保持恒定。
• 该理论框架适用于真实多层网络，而不仅限于简化或理想化设置。
• 实验结果证实，通过标准训练过程找到的最优解之间确实存在此类低损失路径。