[論文レビュー] Adding One Neuron Can Eliminate All Bad Local Minima

Shiyu Liang, Ruoyu Sun+2 more|arXiv (Cornell University)|May 22, 2018

Machine Learning and Algorithms参考文献 25被引用数 50

ひとこと要約

本論文は、二値分類において、単一の特別なニューロン（スキップ接続を伴う）と正則化項を追加することにより、すべての悪い局所極小値を排除できることを証明する。すべての局所極小値は全局最小となり、最適点では拡張ニューロンが不活性化する。

ABSTRACT

One of the main difficulties in analyzing neural networks is the non-convexity of the loss function which may have many bad local minima. In this paper, we study the landscape of neural networks for binary classification tasks. Under mild assumptions, we prove that after adding one special neuron with a skip connection to the output, or one special neuron per layer, every local minimum is a global minimum.

研究の動機と目的

• 二値分類のニューラルネットワークにおける非凸な損失地形の難しさを動機づける。
• 悪い局所極小値のない損失面を生み出すニューラルネットワークの構造的改変を提案する。
• 穏当な仮定の下で、局所極小値がグローバルに最適な訓練損失と誤分類性能に対応することを確立する。
• スキップ接続を有するアーキテクチャ、層ごとの増強、および代替ニューロンタイプへの拡張を探る。

提案手法

• 標準的なアーキテクチャと二値分類の損失を用いてニューラルネットワーク f を定義する。
• 拡張モデル Ÿtilde{f}(x,Ÿtilde{θ}) = f(x;Ÿtheta) + a exp(w^T x + b) を導入し、a に対する二次正則化項を課す（すなわち lambda a^2/2）。
• 拡張経験損失 Ÿtilde{L}_n のいかなる局所極小も全局的であることを証明する。
• 任意の局所極小において指数ニューロンが不活性であることを示し、それにより Ÿtilde{f} は f と同等になる。
• 特定の条件の下で、各層に指数ニューロンを追加したアーキテクチャおよびモノミアルニューロン置換にも結果を拡張する。
• スキップ接続の見なしを取り除くこと、ポリノミアルニューロンの使用、凸損失下での非実現可能データの取り扱いなどの拡張を提示する。

実験結果

リサーチクエスチョン

• RQ1 正則化を伴う単一の特別なニューロンを追加することで、二値分類ネットワークにおけるすべての悪い局所極小値を除去できるか。
• RQ2 スキップ接続を含むアーキテクチャや層ごとの増強、異なるニューロンタイプを用いた場合にも結果は拡張されるか。
• RQ3 損失、データの実現性、および活性化関数に関するどの条件が、偽りの局所極小値の不存在を保証するか。
• RQ4 非滑らかな活性化関数（例: ReLU）や多項式/モノミアル増強に対して結果は成立するか。
• RQ5 これらの増強下で高次の停留点がグローバル最適性とどう関連するか。

主な発見

• 損失と実現性に関する穏やかな仮定のもと、指数ニューロンを二次正則化項とともに追加すると悪い局所極小値は生じない。
• すべての局所極小において、拡張指数ニューロンは不活性であり、したがって元のネットワークはすでにグローバル最小を達成している。
• 適切な次数条件の下、各層に指数ニューロンが追加されるアーキテクチャおよびモノミアルニューロンにも結果が拡張される。
• 局所極小における拡張ネットワークと元のネットワークの等価性を示す系連結（コロラリ）がおり、元のネットワークの表現力を保持する。
• この枠組みは一般的なニューラルアーキテクチャおよびさまざまな活性化タイプ（ReLU様の関数を含む）に適用できる。