[論文レビュー] Revisiting Landscape Analysis in Deep Neural Networks: Eliminating Decreasing Paths to Infinity

Shiyu Liang, Ruoyu Sun+1 more|arXiv (Cornell University)|Dec 31, 2019

Stochastic Gradient Optimization Techniques参考文献 64被引用数 11

ひとこと要約

本稿では、すべての重みパラメータに包括的な正則化子を導入することで、過パラメータ化された深層ニューラルネットワークの新たなランドスケープ解析フレームワークを提案する。著者らは、リプシッツ写像を用いて不適切な正則化子が零測度の集合を形成することを示し、広範なネットワーククラスにおいて勾配降下法がゼロトレーニング誤差でグローバルミニマに収束することを証明する。これは、深層学習の最適化理論における重要なギャップを解消する。

ABSTRACT

Traditional landscape analysis of deep neural networks aims to show that no sub-optimal local minima exist in some appropriate sense. From this, one may be tempted to conclude that descent algorithms which escape saddle points will reach a good local minimum. However, basic optimization theory tell us that it is also possible for a descent algorithm to diverge to infinity if there are paths leading to infinity, along which the loss function decreases. It is not clear whether for non-linear neural networks there exists one setting that no bad local-min and no decreasing paths to infinity can be simultaneously achieved. In this paper, we give the first positive answer to this question. More specifically, for a large class of over-parameterized deep neural networks with appropriate regularizers, the loss function has no bad local minima and no decreasing paths to infinity. The key mathematical trick is to show that the set of regularizers which may be undesirable can be viewed as the image of a Lipschitz continuous mapping from a lower-dimensional Euclidean space to a higher-dimensional Euclidean space, and thus has zero measure.

研究の動機と目的

• 深層ニューラルネットワークのランドスケープにおいて、悪質な局所的最小値が存在しないにもかかわらず、勾配降下法が無限大へ発散するという未解決の問題に対処すること。
• 「悪質な局所的最小値なし」と「無限大への減少経路なし」が同時に成立する条件を形式的に確立すること。
• 適切な正則化子を備えた過パラメータ化されたネットワークにおいて、勾配降下法がグローバルミニマにゼロトレーニング誤差で収束することを証明すること。
• 問題を引き起こす正則化子の集合が無視できる（零測度）ことの証明により、一般のネットワーク構成においても頑健性を確保すること。

提案手法

• すべての重みパラメータに立方体正則化子を導入し、パラメータ空間を制約することで、無限大への発散を防ぐ。
• 低次元空間からのリプシッツ連続写像を用いて、不適切な正則化子の集合を特徴づけ、それがパラメータ空間において零測度であることを証明する。
• この正則化された損失関数における任意の局所的最小値がゼロトレーニング誤差を達成することを証明し、したがってグローバルに最適であることを示す。
• 過パラメータ化を活用して補間解の存在を保証し、劣悪な最小値を回避する。
• ReLUネットワークを用いた構成的補間論法を適用し、データを正のマージンで完全に適合できることを示し、ランドスケープ解析を可能にする。
• 摂動技術を用いて損失ランドスケープを分析し、活性化ノルムがゼロである任意の臨界点が鞍点であることを示し、局所的最小値ではないことを確認する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの損失ランドスケープは、同時に劣悪な局所的最小値と無限大への減少経路の両方を排除できるか？
• RQ2 発散経路を排除するが、新たな悪質な局所的最小値を導入しない正則化子を設計することは可能か？
• RQ3 このような正則化子を備えた過パラメータ化された深層ネットワークでは、勾配降下法がグローバルミニマに収束することが保証されるか？
• RQ4 望ましいランドスケープ特性を損なう正則化子の測度論的性質は何か？

主な発見

• すべての重みに立方体正則化子を適用した過パラメータ化された深層ニューラルネットワークの広範なクラスにおいて、損失関数は劣悪な局所的最小値を有しない。
• 悪質な局所的最小値や無限大への減少経路を導入する正則化子の集合は、パラメータ空間において零測度であるため、無視できる。
• 正則化された損失関数における任意の局所的最小値はゼロトレーニング誤差を達成するため、グローバルに最適である。
• すべての重みパラメータに対する正則化子の制約のおかげで、無限大への減少経路の存在が排除され、発散が防止される。
• サイズ n+1 の1層のReLUネットワークは、やや弱い仮定のもとで、任意のデータセットを補間可能であり、グローバルに最適なランドスケープの構築を可能にする。
• 理論的分析により、隠れ層の重みにおけるノルムがゼロである任意の臨界点が鞍点であることが確認され、劣悪な解からの脱出が保証される。