[论文解读] Eliminating all bad Local Minima from Loss Landscapes without even adding an Extra Unit

Jascha Sohl‐Dickstein, Kenji Kawaguchi|arXiv (Cornell University)|Jan 12, 2019

Advanced Neural Network Applications参考文献 1被引用 3

一句话总结

该论文提出了一种方法，通过引入辅助参数 $a$ 和 $b$，在不增加网络单元的情况下，从任意损失曲面中消除所有不良局部极小值。通过构建修改后的损失 $\tilde{L}(\theta, a, b)$，使得非全局极小值在 $b$ 方向被推向无穷远，因此新曲面中所有有限的局部极小值均对应于原始损失的全局极小值，从而确保在修改后的空间中不存在不良局部极小值。

ABSTRACT

Recent work has noted that all bad local minima can be removed from neural network loss landscapes, by adding a single unit with a particular parameterization. We show that the core technique from these papers can be used to remove all bad local minima from any loss landscape, so long as the global minimum has a loss of zero. This procedure does not require the addition of auxiliary units, or even that the loss be associated with a neural network. The method of action involves all bad local minima being converted into bad (non-local) minima at infinity in terms of auxiliary parameters.

研究动机与目标

• 为解决非凸设置（如神经网络）中不良局部极小值的挑战，提出一种通用方法。
• 阐明辅助参数如何独立于神经网络架构，消除不良局部极小值的机制。
• 证明消除不良局部极小值无需引入辅助神经元或网络单元，仅依赖于特定的参数化方式。
• 展示将非全局极小值推向无穷远的核心思想可普遍适用于任意具有零全局最小值的损失函数。
• 提供一个形式化且可推广的框架，用于消除不良局部极小值，超越神经网络特异性构造。

提出的方法

• 将两个辅助参数 $a, b \in \mathbb{R}$ 引入原始损失函数 $L(\theta)$，形成修改后的损失 $\tilde{L}(\theta, a, b)$。
• 定义修改后的损失为 $\tilde{L}(\theta, a, b) = L(\theta)(1 + (a e^b - 1)^2) + \lambda a^2$，其中 $\lambda > 0$ 为正则化超参数。
• 利用损失的结构，确保对于任意满足 $L(\theta) > 0$ 的 $\theta$，辅助参数会驱动 $b \to \infty$ 且 $a \to 0$，以最小化损失。
• 证明 $\tilde{L}$ 的唯一有限临界点出现在 $L(\theta) = 0$ 且 $a = 0$ 时，这些点对应于 $L(\theta)$ 的全局极小值。
• 证明 $L(\theta)$ 的所有非全局极小值在 $b$ 方向被转化为无穷远处的非局部极小值，这些点在 $\mathbb{R}^n$ 中不被视为局部极小值，从而彻底消除不良局部极小值。
• 证明该方法适用于任意具有零全局最小值的损失函数，无论其是否来自神经网络。

实验结果

研究问题

• RQ1 能否在不增加辅助网络单元的前提下，从任意损失曲面中消除不良局部极小值？
• RQ2 辅助参数 $a$ 和 $b$ 如何通过将非全局极小值转化为无穷远处的非局部极小值来实现这一转化？
• RQ3 不良局部极小值的消除是否依赖于神经网络的具体架构或损失函数的性质？
• RQ4 是否仅通过辅助变量的参数化即可实现相同效果，而无需修改模型结构？
• RQ5 为何 $b \to \infty$ 的行为能确保非全局极小值在修改后的曲面中不再被视为局部极小值？

主要发现

• 修改后损失 $\tilde{L}(\theta, a, b)$ 的所有有限局部极小值均对应于原始损失 $L(\theta)$ 的全局极小值，确保新曲面中不存在不良局部极小值。
• 对于任意满足 $L(\theta) > 0$ 的 $\theta$，辅助参数会驱动 $a \to 0$ 且 $b \to \infty$，使损失趋向于无穷远处的最小值。
• $\tilde{L}$ 的唯一有限临界点出现在 $L(\theta) = 0$ 且 $a = 0$ 时，这对任意 $b$ 均构成局部极小值，对应于 $L(\theta)$ 的全局极小值。
• 在 $b$ 方向的无穷远处极小值不被视为 $\mathbb{R}^n$ 中的局部极小值，因此 $L(\theta)$ 的非全局极小值在 $\tilde{L}$ 中不构成局部极小值。
• 该方法具有普适性，适用于任意具有零全局最小值的损失函数，无论其是否源于神经网络。
• 该方法避免了对辅助神经元的需求，表明其核心机制在于参数化与正则化，而非结构上的扩展。