[論文レビュー] Small ReLU networks are powerful memorizers: a tight analysis of memorization capacity

Chulhee Yun, Suvrit Sra+1 more|arXiv (Cornell University)|Oct 17, 2018

Stochastic Gradient Optimization Techniques参考文献 40被引用数 16

ひとこと要約

この論文は、3層の小さなReLUネットワークが、√N個の隠れユニットを備えることで、N個のデータポイントを完全に記憶可能であることを示しており、記憶容量のための幅Θ(√N)が、必要かつ十分であることを証明している。理論的境界がタイトであることを確立し、深さや残差ネットワークへの結果の拡張も行い、SGDが記憶最小値の近傍で低損失解へ迅速に収束することを示している。

ABSTRACT

We study finite sample expressivity, i.e., memorization power of ReLU networks. Recent results require $N$ hidden nodes to memorize/interpolate arbitrary $N$ data points. In contrast, by exploiting depth, we show that 3-layer ReLU networks with $Ω(\sqrt{N})$ hidden nodes can perfectly memorize most datasets with $N$ points. We also prove that width $Θ(\sqrt{N})$ is necessary and sufficient for memorizing $N$ data points, proving tight bounds on memorization capacity. The sufficiency result can be extended to deeper networks; we show that an $L$-layer network with $W$ parameters in the hidden layers can memorize $N$ data points if $W = Ω(N)$. Combined with a recent upper bound $O(WL\log W)$ on VC dimension, our construction is nearly tight for any fixed $L$. Subsequently, we analyze memorization capacity of residual networks under a general position assumption; we prove results that substantially reduce the known requirement of $N$ hidden nodes. Finally, we study the dynamics of stochastic gradient descent (SGD), and show that when initialized near a memorizing global minimum of the empirical risk, SGD quickly finds a nearby point with much smaller empirical risk.

研究の動機と目的

• ReLUネットワークの有限サンプルにおける表現力と記憶容量を理解すること、特にVC次元との比較を通じて。
• 既存理論におけるN個のデータポイントに対してN個の隠れノードを必要とするというギャップを解消すること。これは大規模なNに対して現実的ではない。
• 記憶に必要な最小幅に関するタイトな理論的境界を提供し、3層ネットワークにおいてΘ(√N)が、必要かつ十分であることを示すこと。
• 一般位置の仮定の下で、深層ネットワークおよび残差ネットワークへの結果の拡張を行い、必要な幅を低減すること。
• 記憶最小値の近傍でのSGDのダイナミクスを分析し、低損失解への迅速な収束を示すこと。

提案手法

• ReLU活性化関数の性質に基づく幾何的構成を用いて、隠れユニット幅d₁, d₂がd₁d₂ ≥ 4Nd_yを満たす3層ネットワークが、任意のデータセットを記憶可能であることを示す。
• 浅いネットワーク（2〜3層）における記憶容量のマッチング上限を証明し、下限のタイトさを確立する。
• 隣接層間のエッジ積の合計を分析することで、深層ネットワークへの分析を拡張し、W = Ω(N)のパラメータがN個のデータポイントの記憶に十分であることを示す。
• 一般位置の仮定を適用して残差ネットワークを分析し、先行研究と比較して必要な幅を大幅に低減できることを示す。
• 記憶最小値の周囲での損失関数の2階テイラー展開を用いて、SGDのダイナミクスを分析する。
• 勾配と関数の摂動を勾配方向に対する平行成分と直交成分に分解することで、損失変化の精密な境界を可能にする。

実験結果

リサーチクエスチョン

• RQ1 任意のN個のデータポイントを記憶できる3層ReLUネットワークの最小幅は何か？
• RQ2 浅いReLUネットワークの記憶容量を、タイトな上限と下限で特徴づけられるか？
• RQ3 深さは、全結合ネットワークにおける記憶のパラメータ効率にどのように影響するか？
• RQ4 一般位置の仮定の下で、残差ネットワークの記憶容量は何か？
• RQ5 記憶最小値の近傍で初期化されたSGDは、どの程度の速さで低損失解へ収束するか？

主な発見

• 出力がスカラーの3層ReLUネットワークで、隠れユニット幅d₁ = d₂ = 2√Nとすると、任意のN個のデータセットを記憶可能であり、必要な隠れユニット総数はΘ(√N)に限られる。
• 3層ReLUネットワークにおいて、幅要件Θ(√N)が、必要かつ十分であることが示され、記憶容量に関するタイトな境界が証明された。
• d_yクラスの分類において、幅が2k–2k–4kの4層ReLUネットワークは、10⁶個のデータポイントを10³クラスで記憶可能であり、実用的な実現可能性を示している。
• 深層ネットワークでは、隠れ層にW = Ω(N)のパラメータがあれば、N個のデータポイントの記憶に十分であり、VC次元の上界O(WL log W)にほぼ一致する。
• 一般位置の仮定の下で、残差ネットワークは記憶に必要な隠れユニット数をNより著しく低減でき、先行研究を凌駆する。
• 記憶最小値の近傍で初期化されたSGDは、好都合な曲率と勾配構造のおかげで、著しく低い経験的リスクを持つ近傍点へ迅速に収束する。