[論文レビュー] On the geometry of solutions and on the capacity of multi-layer neural networks with ReLU activations.

Carlo Baldassi, Enrico M. Malatesta+1 more|arXiv (Cornell University)|Jul 17, 2019

Neural Networks and Applications被引用数 1

ひとこと要約

本稿は、二層ReLUネットワークの容量と解空間幾何学を、バイナリ値または実数値の重みを用いて分析し、隠れユニットを増加させても有限の記憶容量を維持することを明らかにした。これに対して、しきい値ネットワークとは異なり、ReLUネットワークは、大偏差理論を用いて、重みと入力の摂動に対して頑健な希少で密集した解領域を同定し、深層学習における一般化と最適化に関する新たな知見を提供する。

ABSTRACT

Rectified Linear Units (ReLU) have become the main model for the neural units in current deep learning systems. This choice has been originally suggested as a way to compensate for the so called vanishing gradient problem which can undercut stochastic gradient descent (SGD) learning in networks composed of multiple layers. Here we provide analytical results on the effects of ReLUs on the capacity and on the geometrical landscape of the solution space in two-layer neural networks with either binary or real-valued weights. We study the problem of storing an extensive number of random patterns and find that, quite unexpectedly, the capacity of the network remains finite as the number of neurons in the hidden layer increases, at odds with the case of threshold units in which the capacity diverges. Possibly more important, a large deviation approach allows us to find that the geometrical landscape of the solution space has a peculiar structure: while the majority of solutions are close in distance but still isolated, there exist rare regions of solutions which are much more dense than the similar ones in the case of threshold units. These solutions are robust to perturbations of the weights and can tolerate large perturbations of the inputs. The analytical results are corroborated by numerical findings.

研究の動機と目的

• ReLU活性化関数が二層ニューラルネットワークの記憶容量に与える影響を理解すること。
• ReLUネットワークの解空間幾何構造をしきい値ネットワークと比較して調査すること。
• 隠れニューロンの数が増加するにつれてReLUネットワークが多数のランダムパターンを格納できるかどうかを特定すること。
• 大偏差技法を用いて、重みと入力の摂動に対する解の頑健性を分析すること。

提案手法

• バイナリ値または実数値の重みを有する二層ReLUネットワークにおける解空間幾何学の解析的考察。
• 大偏差理論を応用し、解空間内の希少で密集した領域を特徴付けること。
• 容量と解分布の違いを強調するために、ReLUネットワークとしきい値ネットワークを比較すること。
• 数値的検証を通じて、密集した解クラスタの存在と性質を確認すること。
• 広範なパターン格納下での解の分布をモデル化するための統計力学的手法の使用。

実験結果

リサーチクエスチョン

• RQ1 隠れニューロンの数が増加するにつれて、ReLUネットワークの記憶容量は発散するか？
• RQ2 ReLUネットワークの解空間幾何学は、しきい値ネットワークとどのように異なるか？
• RQ3 重みと入力の摂動に対して頑健な希少で密集した解領域は存在するか？
• RQ4 大偏差理論は、ReLUネットワークにおける解の分布をどのように特徴付けるか？

主な発見

• 隠れニューロンの数を増加させても、ReLUネットワークの記憶容量は有限のままであり、しきい値ネットワークで見られる発散とは対照的である。
• 解の大部分は孤立しているが、距離的に近接しているため、解空間が断片的であることが示唆される。
• 重みと入力の両方の摂動に対して非常に頑健な希少で密集した解クラスタが存在する。
• これらの密集した解領域は、しきい値ネットワークのものよりもはるかに安定しており、一般化の可能性が向上していることを示唆する。
• 数値的結果により、ReLUネットワークにおける希少で密集した解クラスタの解析的予測が確認された。