[论文解读] A Deep Neural Network's Loss Surface Contains Every Low-dimensional Pattern

Wojciech Marian Czarnecki, Simon Osindero+2 more|arXiv (Cornell University)|Dec 16, 2019

Neural Networks and Applications参考文献 5被引用 4

一句话总结

该论文通过在损失景观中构建任意目标函数的通用逼近，证明了任何足够宽且深的神经网络的损失曲面都包含所有可能的低维平滑模式——无论数据集或任务如何——其关键结果是这些模式不仅可嵌入，还可通过标准训练进行优化，可迁移至测试集，并可定位在全局最小值附近。

ABSTRACT

The work "Loss Landscape Sightseeing with Multi-Point Optimization" (Skorokhodov and Burtsev, 2019) demonstrated that one can empirically find arbitrary 2D binary patterns inside loss surfaces of popular neural networks. In this paper we prove that: (i) this is a general property of deep universal approximators; and (ii) this property holds for arbitrary smooth patterns, for other dimensionalities, for every dataset, and any neural network that is sufficiently deep and wide. Our analysis predicts not only the existence of all such low-dimensional patterns, but also two other properties that were observed empirically: (i) that it is easy to find these patterns; and (ii) that they transfer to other data-sets (e.g. a test-set).

研究动机与目标

• 从理论上解释为何任意2D二值模式可被发现于深度神经网络的损失曲面中，如Skorokhodov和Burtsev（2019）所实证观察到的。
• 确立该性质不仅限于二值或2D模式，而是扩展至所有平滑、有界、低维模式。
• 证明此类模式的优化复杂度与标准监督训练相当。
• 表明这些模式可从训练集迁移至测试集，并可嵌入在全局最小值附近。
• 探究此类模式是否可独立于网络的输入处理函数构建，从而使得模型能够“绕过”几何正则化。

提出的方法

• 构建一个具有固定输入投影和可学习偏置向量的神经网络，以在损失曲面中编码目标模式。
• 利用通用逼近定理，训练子网络在参数空间的$z$维截面上逼近目标函数$\mathcal{T}: [0,1]^z \to [0,1]$。
• 将损失分解为两部分：一部分用于主任务（输入到输出的映射），另一部分用于模式编码子网络，每个模式维度使用独立的头。
• 利用损失函数$\ell$的利普希茨连续性，界定学习到的损失与目标模式$\mathcal{T}$之间的逼近误差。
• 确保模式编码子网络独立于输入处理路径进行训练，从而保持泛化性并支持向测试集的迁移。
• 证明总损失$L(\mathbf{h})$在网络宽度增加时，逼近$\mathcal{T}(\mathbf{h})$的误差$\epsilon$趋于零，利用激活函数的光滑性与满射性。

实验结果

研究问题

• RQ1 是否每一个平滑、有界、低维模式都能被嵌入到足够宽且深的神经网络的损失曲面中？
• RQ2 此类模式的嵌入能力是否能从训练集泛化到测试集？如果是，原因是什么？
• RQ3 通过优化寻找这些模式的难度是否与标准监督学习相当？
• RQ4 这些模式是否可被嵌入在原始训练目标的全局最小值附近？
• RQ5 是否可操纵网络损失曲面的几何结构以满足任意局部几何约束，而不会影响输入层面的性能？

主要发现

• 任何足够宽且深的神经网络的损失曲面都包含每一个平滑、有界、低维模式$\mathcal{T}: [0,1]^z \to [0,1]$。
• 通过增加网络宽度，学习到的损失与目标模式$\mathcal{T}$之间的逼近误差可被任意缩小，这是由于通用逼近定理及损失函数的利普希茨连续性。
• 该构造确保嵌入的模式可从训练集迁移至测试集，因为模式被编码在独立于输入的子网络中。
• 优化此类模式的复杂度与标准监督学习相当，因为问题可简化为在构造的目标上训练标准神经网络。
• 该方法允许将模式嵌入在原始训练目标全局最小值的$\epsilon$范围内，同时保持网络整体性能。
• 这些模式可为轴对齐，并对输入分布的变化具有鲁棒性，前提是损失函数和标签分布$P(\mathbf{y})$保持不变。