[論文レビュー] The Effect of Network Width on the Performance of Large-batch Training

Lingjiao Chen, Hongyi Wang+3 more|arXiv (Cornell University)|Jun 11, 2018

Stochastic Gradient Optimization Techniques参考文献 24被引用数 8

ひとこと要約

この論文は、ニューラルネットワークの幅と深さが大バッチ学習性能に与える影響を調査し、理論的・実験的に、幅広く浅いネットワークは、勾配多様性が高いため、大バッチでも高速な収束を維持するのに対し、より深いネットワークは収束が遅くなることを示している。主な貢献は、パラメータ数が固定されている場合、幅を広げることで勾配多様性が向上し、大バッチ学習に対する適性が高まることを示したことである。これにより、性能劣化を伴わずに分散学習のスケーラビリティが向上する。

ABSTRACT

Distributed implementations of mini-batch stochastic gradient descent (SGD) suffer from communication overheads, attributed to the high frequency of gradient updates inherent in small-batch training. Training with large batches can reduce these overheads; however, large batches can affect the convergence properties and generalization performance of SGD. In this work, we take a first step towards analyzing how the structure (width and depth) of a neural network affects the performance of large-batch training. We present new theoretical results which suggest that--for a fixed number of parameters--wider networks are more amenable to fast large-batch training compared to deeper ones. We provide extensive experiments on residual and fully-connected neural networks which suggest that wider networks can be trained using larger batches without incurring a convergence slow-down, unlike their deeper variants.

研究の動機と目的

• ニューラルネットワークのアーキテクチャ、特に幅と深さが大バッチ学習性能に与える影響を理解すること。
• 勾配多様性が大バッチ学習の効果を決定づける要因として果たす役割を分析すること。
• パラメータ総数が固定されている場合、より広いネットワークがより深いネットワークよりも大バッチ学習に適しているかどうかを調査すること。
• 理論的・実験的証拠を提供し、幅が勾配多様性を向上させ、大バッチでの高速収束を可能にすることを示すこと。

提案手法

• ランダム重み初期化下での2層完全結合線形および非線形ネットワーク、および多層線形ネットワークにおける勾配多様性の理論的分析。
• 異なるデータポイントの勾配間の期待内積を導出することで、幅と深さの関数として勾配多様性を定量化。
• i.i.d. ガウス分布の重みと活性化関数を用いて、層間の勾配積の期待値を計算。
• 深層線形ネットワークにおける勾配内積の閉形式表現を導出し、幅の増加に伴い勾配多様性が単調増加し、深さの増加に伴い減少することを示した。
• パラメータ数を固定し、深さと幅を変化させたCIFAR10、MNIST、EMNIST、Gisette、および合成データセットにおける実験的評価。
• 収束速度（96%の精度に達するまでのエポック数）を、さまざまなバッチサイズで測定し、収束が遅くなる閾値バッチサイズ $B^*$ を特定。

実験結果

リサーチクエスチョン

• RQ1 ネットワークの幅は、大バッチ学習における勾配多様性にどのように影響するか？
• RQ2 深さを増やすのではなく、幅を広げることで、大バッチSGDの収束速度が向上するか？
• RQ3 ネットワークの幅と、収束が遅くなる閾値バッチサイズ $B^*$ の間には理論的関係があるか？
• RQ4 深層線形ネットワークにおいて、勾配多様性は深さと幅の両方にどのように依存するか？
• RQ5 より広いネットワークは大バッチでも高速な収束を維持できるが、より深いネットワークはそうではないか？

主な発見

• パラメータ総数が固定されている場合、より広いネットワークはより深いネットワークよりも高い勾配多様性を示す。
• パラメータ数が固定されている場合、深さを減らして幅を広げることで、勾配多様性は単調に増加する。
• 収束が遅くなる閾値バッチサイズ $B^*$ は、より深いネットワークにおいて小さいため、大バッチ学習にあまり適さない。
• 実験的結果は、より広いネットワークが大バッチサイズでも少ないエポック数で収束することを確認しており、より深いネットワークは収束の遅れを経験する。
• 理論的分析により、勾配多様性は幅の増加に伴い増加し、深さの増加に伴い減少することが示され、観察された実験的挙動を説明できる。
• 本研究は、特に幅というアーキテクチャ設計が、大バッチ収束を高速化することで、分散学習におけるスケーラビリティを向上させられることを示している。