[論文レビュー] Eliminating all bad Local Minima from Loss Landscapes without even adding an Extra Unit

Jascha Sohl‐Dickstein, Kenji Kawaguchi|arXiv (Cornell University)|Jan 12, 2019

Advanced Neural Network Applications参考文献 1被引用数 3

ひとこと要約

本稿では、追加のネットワークユニットを追加せずに、補助パラメータ $a$ と $b$ を導入することで、任意の損失関数の局所的最小値をすべて排除する手法を提案する。修正された損失 $\tilde{L}(\theta, a, b)$ を構造化し、非グローバル最小値が $b$ に関して無限大に押し出されるようにすることで、新しい損失関数のすべての有限な局所的最小値が元の損失関数のグローバル最小値に対応し、修正された空間に悪い局所的最小値が存在しなくなることを保証する。

ABSTRACT

Recent work has noted that all bad local minima can be removed from neural network loss landscapes, by adding a single unit with a particular parameterization. We show that the core technique from these papers can be used to remove all bad local minima from any loss landscape, so long as the global minimum has a loss of zero. This procedure does not require the addition of auxiliary units, or even that the loss be associated with a neural network. The method of action involves all bad local minima being converted into bad (non-local) minima at infinity in terms of auxiliary parameters.

研究の動機と目的

• 非凸な最適化問題、特にニューラルネットワークのような設定における悪い局所的最小値の問題に対処すること。
• 補助パラメータが悪い局所的最小値をどのように排除するかのメカニズムを、ニューラルネットワークのアーキテクチャに依存せずに明確化すること。
• 悪い局所的最小値の除去が、補助ニューロンやネットワークユニットの追加を必要とせず、特定のパラメータ化によってのみ実現可能であることを示すこと。
• 非グローバル最小値を無限大に押し出すというコアなアイデアが、グローバル最小値がゼロである任意の損失関数に一般に適用可能であることを示すこと。
• ニューラルネットワーク特有の構成を超えて、一般化可能で形式的な悪い局所的最小値の除去フレームワークを提供すること。

提案手法

• 元の損失関数 $L(\theta)$ に補助パラメータ $a, b \in \mathbb{R}$ を導入し、修正された損失 $\tilde{L}(\theta, a, b)$ を構築する。
• 修正された損失を $\tilde{L}(\theta, a, b) = L(\theta)(1 + (a e^b - 1)^2) + \lambda a^2$ と定義する。ここで $\lambda > 0$ は正則化ハイパーパrameterである。
• 損失関数の構造を用いて、$L(\theta) > 0$ となる任意の $\theta$ に対して、補助パラメータが $b \to \infty$ および $a \to 0$ に進むようにして損失を最小化することを保証する。
• 修正された損失 $\tilde{L}$ の有限な臨界点が $L(\theta) = 0$ かつ $a = 0$ のときのみ存在することを示し、これは $L(\theta)$ のグローバル最小値に対応する。
• $L(\theta)$ のすべての非グローバル最小値が、$b$ に関して無限大における非局所的最小値に変換され、$\mathbb{R}^n$ 内では局所的最小値として認められないことから、悪い局所的最小値が排除されることを証明する。
• この手法が、ニューラルネットワークに起因するかどうかに関わらず、グローバル最小値がゼロである任意の損失関数に適用可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 追加の補助ネットワークユニットを追加せずに、任意の損失関数の局所的最小値から悪い局所的最小値を排除できるか？
• RQ2 補助パラメータ $a$ と $b$ が非グローバル最小値を無限大における非局所的最小値に変換するメカニズムは何か？
• RQ3 悪い局所的最小値の除去は、ニューラルネットワークの特定のアーキテクチャや損失関数の性質に依存するか？
• RQ4 モデル構造を変更せずに、補助変数のパラメータ化のみで同じ効果を達成できるか？
• RQ5 $b \to \infty$ の挙動が、非グローバル最小値が修正された損失関数の局所的最小値として認められなくなる仕組みは何か？

主な発見

• 修正された損失 $\tilde{L}(\theta, a, b)$ のすべての有限な局所的最小値が、元の損失 $L(\theta)$ のグローバル最小値に対応しており、新しい損失関数空間に悪い局所的最小値が存在しないことを保証する。
• $L(\theta) > 0$ となる任意の $\theta$ に対して、補助パラメータが $a \to 0$ および $b \to \infty$ に進み、損失が無限大における最小値に近づく。
• 修正された損失 $\tilde{L}$ の唯一の有限な臨界点は $L(\theta) = 0$ かつ $a = 0$ のときであり、これは任意の $b$ に対して局所的最小値を形成し、$L(\theta)$ のグローバル最小値に対応する。
• $b$ における無限大の最小値は $\mathbb{R}^n$ 内では局所的最小値として認められないため、$L(\theta)$ の非グローバル最小値は $\tilde{L}$ においても局所的最小値として認められない。
• この手法は一般性を持ち、ニューラルネットワーク由来かどうかに関わらず、グローバル最小値がゼロである任意の損失関数に適用可能である。
• 補助ニューロンの導入を回避しており、コアなメカニズムがアーキテクチャの追加ではなく、パラメータ化と正則化に起因することを示している。