[論文レビュー] Memory capacity of neural networks with threshold and ReLU activations

Roman Vershynin|arXiv (Cornell University)|Jan 20, 2020

Neural Networks and Applications参考文献 25被引用数 13

ひとこと要約

この論文は、1988年に提起された未解決問題を解決し、閾値関数またはReLU活性化関数を備えた一般化された多層フィードフォワードニューラルネットワークが、接続数がKを超える場合、スパarsityを活用する確率的構成により、任意のサイズKのデータセットを記憶可能であることを証明している。主な貢献は、シグモイドおよびReLUネットワークの先行結果を拡張し、ハイブリッドアーキテクチャの一般的な記憶容量の証明を提供することにある。

ABSTRACT

Overwhelming theoretical and empirical evidence shows that mildly overparametrized neural networks -- those with more connections than the size of the training data -- are often able to memorize the training data with $100\%$ accuracy. This was rigorously proved for networks with sigmoid activation functions and, very recently, for ReLU activations. Addressing a 1988 open question of Baum, we prove that this phenomenon holds for general multilayered perceptrons, i.e. neural networks with threshold activation functions, or with any mix of threshold and ReLU activations. Our construction is probabilistic and exploits sparsity.

研究の動機と目的

• バウム（1988）が提起した、閾値活性化関数を備えたニューラルネットワークの記憶容量に関する長年の未解決問題を解消すること。
• 混合閾値関数およびReLU活性化関数を備えた多層パーセプトロンにおける記憶の一般的な理論的基盤を確立すること。
• シグモイドおよびReLU活性化関数を備えたネットワークにおける記憶に関する先行結果を、閾値関数およびハイブリッドアーキテクチャに拡張すること。
• 出力層に閾値活性化関数が使用される場合でも、わずかな過パラメータ化で記憶が達成可能であることを示す確率的構成を提供すること。

提案手法

• 訓練サンプル数を超える接続数を持つニューラルネットワークが、高い確率でデータを記憶可能であることを示すために、確率的構成を用いる。
• 記憶に必要な重みおよびバイアス設定の複雑さを低減するために、スパarsity技術を適用する。
• 標準正規分布の下側尾部確率とミルズ比の漸近的解析を用いて、ReLUおよび閾値関数の期待値を評価する。
• 確率変数 $(\gamma - a)_+$ におけるモーメント推定値を用い、$a \to \infty$ のときの第一および第二モーメントの漸近的展開を導出する。ここで $\gamma \sim N(0,1)$ である。
• スケーリングされた正規変数における期待値の比較に安定性補題を活用し、分散の変化に伴うモーメントのスケーリングを示す。
• ガウス積分の単調性性質を応用し、記憶容量の証明における主な確率的議論を支援する。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化された場合に、閾値活性化関数を備えた多層パーセプトロンは、任意の有限サイズのデータセットを記憶可能か？
• RQ2 ReLUネットワークの記憶容量は、混合閾値およびReLU活性化関数を備えたネットワークに拡張可能か？
• RQ3 サイズKのデータセットを記憶可能とするために、最小限の過パラメータ化はどの程度か？
• RQ4 確率的構成は、K個のデータポイントに対して任意のラベルを適合可能にするか？

主な発見

• 本論文は、接続数がKを超える限り、閾値関数またはReLU活性化関数を備えた任意の多層フィードフォワードニューラルネットワークがK個のデータポイントを記憶可能であることを証明している。
• ミルズ比の漸近的展開を用いて、標準正規分布の正確な尾部確率バウンドを導出し、これがモーメント推定の根拠となっている。
• 十分に大きな $a$ に対して、$(\gamma - a)_+$ の期待値は $\frac{1}{\sqrt{2\pi}} e^{-a^2/2} (a^{-2} + O(a^{-4}))$ に漸近的に近づき、第二モーメントは $\frac{1}{\sqrt{2\pi}} e^{-a^2/2} (2a^{-3} + O(a^{-5}))$ に漸近的に近づく。
• 安定性補題により、ReLUの入力を $\sqrt{1+z}$ 倍すると、期待されるReLU出力は $\exp\left(\frac{a^2 z}{2(1+z)}\right) (1+z) (1 + O(a^{-2}))$ の係数でスケーリングされることが示される。
• 単調性補題により、$\sigma \mapsto \mathbb{E}[\psi(\sigma \gamma)]$ が非減少であることが確認され、$\psi(t) = 0$ for $t < 0$ かつ $\psi$ が非減少であるような $\psi$ に対して、確率的議論を支持する。
• 主な結果として、バウムの1988年の未解決問題が、閾値およびReLU活性化関数を備えた一般化された多層パーセプトロンの記憶容量を確立することで解決された。