[論文レビュー] Elimination of All Bad Local Minima in Deep Learning

Kenji Kawaguchi, Leslie Pack Kaelbling|arXiv (Cornell University)|Jan 2, 2019

Sparse and Compressive Sensing Techniques参考文献 32被引用数 38

ひとこと要約

著者らは、出力単位ごとに1つのニューロンを追加することで、実用的な損失仮定の下でどんな深いネットワークにも全ての局所的に最適でない minima を排除でき、追加ニューロンの影響は局所 minima で消えることを示し、PGBベースの解析を導入する。

ABSTRACT

In this paper, we theoretically prove that adding one special neuron per output unit eliminates all suboptimal local minima of any deep neural network, for multi-class classification, binary classification, and regression with an arbitrary loss function, under practical assumptions. At every local minimum of any deep neural network with these added neurons, the set of parameters of the original neural network (without added neurons) is guaranteed to be a global minimum of the original neural network. The effects of the added neurons are proven to automatically vanish at every local minimum. Moreover, we provide a novel theoretical characterization of a failure mode of eliminating suboptimal local minima via an additional theorem and several examples. This paper also introduces a novel proof technique based on the perturbable gradient basis (PGB) necessary condition of local minima, which provides new insight into the elimination of local minima and is applicable to analyze various models and transformations of objective functions beyond the elimination of local minima.

研究の動機と目的

• 深層ネットの悪い局所 minima の課題を動機づけ、過剰パラメータ化を超えた理論保証を追求する。
• 最小限のアーキテクチャ変更で全ての局所 minima を排除する。
• 任意の局所 minima において、元のネットワークパラメータが基底目的関数のグローバル minima を達成することを証明する。
• 局所 minima 排除の失敗モードを特徴づけ、この問題に適用できる新しい証明技術（PGB）を導入する。

提案手法

• 指數形式を持つ出力単位ごとのニューネルンを追加し、追加の重みに正則化項を設けた補助目的関数を定義する。
• 補助目的関数の局所 minima は、元のネットワークが基底目的関数に対してグローバルに最適であることを意味することを示す。
• 撹乱可能勾配基底（PGB）必要条件を用いて排除結果を導く。
• 標準の微分可能・凸な損失基準の下で証明を提供し、より緩い実現可能データの仮定について議論する。
• 失敗モードを特徴づけ、勾配に基づく最適化への影響を論じる。

実験結果

リサーチクエスチョン

• RQ1 単一の最小限のアーキテクチャ変更は、タスクと損失を横断して深層ネットのすべての悪い局所 minima を排除する保証を提供できるか？
• RQ2 この排除はどのような仮定の下で成立し、最適点で追加ニューロンは元のネットワークパラメータとどのように相互作用するか？
• RQ3 この排除アプローチの制限や失敗モードは何か、特に勾配ベースの最適化において？
• RQ4 新しいPGBフレームワークは、局所 minima 排除を超える目的関数のより広い変換をどのように照明するか？

主な発見

• 出力単位ごとに1つのニューロンを追加することで、修正目的関数のすべての局所 minima が元の目的関数のグローバル minima に対応することを保証する。
• 任意の局所 minima において、修正されたネットワークは元のネットワークに簡略化され、追加成分は消える。
• 本結果は、多クラス分類、二値分類、回帰／一般的な損失関数の下で穏やかな仮定のもと成り立つ。
• 新しいPGB必要条件は局所 minima を分析する一般的な道具を提供し、この特定の問題を超えて適用可能。