[論文レビュー] An Exponential Improvement on the Memorization Capacity of Deep Threshold Networks

Shashank Rajput, Kartik K. Sreenivasan+2 more|arXiv (Cornell University)|Jun 14, 2021

Stochastic Gradient Optimization Techniques参考文献 24被引用数 9

ひとこと要約

本稿では、最小間隔距離δに対する依存性を指数的からほぼ線形にすることで、記憶容量に指数的改善をもたらす深層しきい値ニューラルネットワークの新規構築を提示する。最初の層でのみガウス重みを用い、以降の層ではバイナリ／整数重みを用いることで、記憶化に Õ(1/δ + √n) 個のニューロンと Õ(d/δ + n) 個の重みが達成可能となり、以前の研究がδに指数的依存を要していたのと比べ顕著な改善が得られる。

ABSTRACT

It is well known that modern deep neural networks are powerful enough to memorize datasets even when the labels have been randomized. Recently, Vershynin (2020) settled a long standing question by Baum (1988), proving that \emph{deep threshold} networks can memorize $n$ points in $d$ dimensions using $\widetilde{\mathcal{O}}(e^{1/δ^2}+\sqrt{n})$ neurons and $\widetilde{\mathcal{O}}(e^{1/δ^2}(d+\sqrt{n})+n)$ weights, where $δ$ is the minimum distance between the points. In this work, we improve the dependence on $δ$ from exponential to almost linear, proving that $\widetilde{\mathcal{O}}(\frac{1}δ+\sqrt{n})$ neurons and $\widetilde{\mathcal{O}}(\frac{d}δ+n)$ weights are sufficient. Our construction uses Gaussian random weights only in the first layer, while all the subsequent layers use binary or integer weights. We also prove new lower bounds by connecting memorization in neural networks to the purely geometric problem of separating $n$ points on a sphere using hyperplanes.

研究の動機と目的

• バウム（1988）が提起した未解決問題、すなわち、より深いしきい値ネットワークが記憶化にO(√n)ニューロンを達成できるかどうかを検討すること。
• ヴァーシニニ（2020）らの先行研究で問題視されていた、記憶容量におけるδ（最小間隔距離）への指数的依存性を低減すること。
• データ点が単位球面上にあるという制限的仮定を排除し、代わりにℓ²ノルムが有界であることのみを要件とすること。
• δ-分離の下での記憶化に必要なニューロン数および重み数の上限・下限をより厳密に確立すること。

提案手法

• 最初の層でのみi.i.d.ガウス重みを用い、以降のすべての層では有界な整数重みを用いる深層しきい値ネットワークを構築する。
• 最初の層を用いて、d次元空間内のn個のδ-分離点を、それらが線形分離可能になる高次元空間に写像する。
• δ-分離点が球面上に存在する場合、それらをハイパーサブスペースで分離できることを幾何学的性質として活用し、ノルムが有界な点に対しても同様の拡張を実施する。
• 確率的議論およびカバー／パッキングの境界を用いて、記憶化に十分なサイズの仮説クラス Õ(n + log log |Cδ/2|) が存在することを示す。
• すべての可能なn点の部分集合およびラベル割り当ての和集合を用いた和集合の上限を適用し、任意のラベル割り当てを記憶可能なネットワークの存在を保証する。
• 記憶化を球面上の点をハイパーサブスペースで分離する問題に帰着させることで下界を証明し、記憶化に少なくともΩ(n)ビットおよびΩ(log log |Pδ|)ビットが必要であることを示す。

実験結果

リサーチクエスチョン

• RQ1 深層しきい値ネットワークの記憶容量におけるδへの指数的依存性を、ほぼ線形にまで改善できるか。
• RQ2 点が球面上にあることを要件としないで、O(√n)ニューロンで記憶化を達成することは可能か。
• RQ3 最初の層にのみガウス重みを、以降の層に整数重みを用いる深層しきい値ネットワークが、最適な記憶容量を達成できるか。
• RQ4 δ-分離の下での記憶化に必要なニューロン数および重み数の根本的な情報理論的限界は何か。

主な発見

• 本稿では、d次元空間内のサイズnのδ-分離データセットを記憶化するのに、Õ(1/δ + √n) 個のニューロンと Õ(d/δ + n) 個の重みが十分であることを確立した。
• δへの依存性は、指数的（e^{1/δ²}）からほぼ線形的（1/δ）に改善され、顕著な定量的向上が達成された。
• 構築法では、実数値のガウス重みを最初の層でのみ使用する必要があり、以降のすべての層は有界な整数重みを用いるため、ハードウェアおよび学習の観点から簡素化される。
• 点が球面上にある必要がなく、代わりにℓ²ノルムが有界であることのみを要件としているため、適用範囲が広がる。
• 新たな下界により、記憶化に少なくともΩ(n)ビット、かつδ-分離に起因してΩ(log log |Pδ|)ビットが必要であることが示され、情報理論的限界と一致する。
• ネットワークの深さはO(log(log n)/δ)層であり、最初の層にはÕ(log n / δ)個のニューロンとÕ(d log n / δ)個の重みが含まれる。