[論文レビュー] All Local Minima are Global for Two-Layer ReLU Neural Networks: The Hidden Convex Optimization Landscape

Jonathan Lacotte, Mert Pilancı|arXiv (Cornell University)|Jun 10, 2020

Sparse and Compressive Sensing Techniques参考文献 26被引用数 11

ひとこと要約

本稿では、任意のニューラルネットワークの最小表現を介して最適化の流れを凸的ものに埋め込むことで、2層ReLUニューラルネットワークにおけるすべての局所的最小値がグローバル最小値であることを証明する。この埋め込みを用いて、偽の谷（spurious valleys）が存在しない条件を確立し、グローバル最適性を多項式時間で検証するアルゴリズムを提供する。

ABSTRACT

We are interested in two-layer ReLU neural networks from an optimization perspective. We prove that the path-connected sublevel set, i.e., valleys, of a neural network which is Clarke stationary with respect to the training loss with weight decay regularization contains a specific, simpler and more structured neural network, which we call its minimal representation. We provide an explicit construction of a continuous path between the neural network and its minimal counterpart. Importantly, we show that characterizing the optimality properties of a neural network can be reduced to characterizing those of its minimal representation. Thanks to the specific structure of minimal neural networks, we show that we can embed them into a convex optimization landscape. Leveraging convexity, we are able to (i) characterize the minimal size of the hidden layer so that the neural network optimization landscape has no spurious valleys and (ii) provide a polynomial-time algorithm for checking if a neural network is a global minimum of the training loss. Overall, we provide a rich framework for studying the landscape of the neural network training loss through our embedding to a convex optimization landscape.

研究の動機と目的

• 重み減衰正則化を施した2層ReLUニューラルネットワークの最適化の流れを理解すること。
• 任意のニューラルネットワークに対して最小表現を特定することで、すべての局所的最小値がグローバル最小値であることを証明すること。
• 最適性の特徴づけが最小表現の分析に帰着されることを示すこと。
• 理論的およびアルゴリズム的利点を得るため、ニューラルネットワークの最適化問題を凸的流れに埋め込むこと。
• 損失の流れに偽の谷が存在しない条件を導出し、効率的なグローバル最適性の検証を可能にすること。

提案手法

• 任意のネットワークと同一の部分レベル集合に属する、より単純で構造的なニューラルネットワークである「最小表現」の概念を導入する。
• 任意のニューラルネットワークからその最小表現への連続的かつ経路連結な変換を構築し、部分レベル集合への属する性質を保つ。
• ネットワークのClarke停留性が最小表現の停留性を意味することを証明し、最適性解析の簡略化を可能にする。
• 損失の流れ構造を保ちながら、特定のパrametrizationを用いて最小表現を凸最適化フレームワークに埋め込む。
• 凸性を活用して、偽の谷が存在しないことを保証する隠れ層の幅に関する条件を導出する。
• 与えられたネットワークが訓練損失のグローバル最小値であるかどうかを、その最小表現をチェックすることで多項式時間で検証するアルゴリズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 重み減衰を伴う2層ReLUネットワークにおいて、すべての局所的最小値がグローバル最小値であることを証明できるか？
• RQ2 どのようなニューラルネットワークの構造的性質が、その最適化の流れを凸的ものに埋め込むことを可能にするか？
• RQ3 ニューラルネットワークの最小表現とは何か？ また、元のネットワークの最適性とどのように関係するか？
• RQ4 隠れ層の幅にどのような条件下で、訓練損失の流れに偽の谷が存在しないか？
• RQ5 訓練済みネットワークのグローバル最適性を多項式時間で検証できるか？

主な発見

• 重み減衰正則化を施した2層ReLUネットワークでは、最小表現の凸的埋め込みのおかげで、すべての局所的最小値がグローバル最小値である。
• ニューラルネットワークの最小表現は、より単純で構造的なネットワークであり、元のネットワークと同一の部分レベル集合にあり、すべての最適性特性を捉えている。
• 任意のニューラルネットワークとその最小表現の間には連続的な経路が存在し、部分レベル集合の経路連結性が保証される。
• 最小表現は凸最適化の流れに埋め込むことができ、凸解析のツールの利用が可能になる。
• 与えられたニューラルネットワークが訓練損失のグローバル最小値であるかどうかを確認する多項式時間のアルゴリズムが存在する。
• 最小表現の枠組みのもとで、隠れ層のサイズが訓練サンプル数以上であれば、訓練損失の流れに偽の谷が存在しない。