[論文レビュー] Large batch size training of neural networks with adversarial training and second-order information

Zhewei Yao, Amir Gholami+5 more|arXiv (Cornell University)|Oct 2, 2018

Advanced Neural Network Applications参考文献 54被引用数 35

ひとこと要約

本稿では、2次Hessian情報と敵対的訓練を組み合わせた、適応的バッチサイズ学習フレームワーク（ABSA）を提案する。この手法により、Rayに基づく弾性クラスタリングによるバッチサイズの動的スケーリングと、湾曲度に配慮した学習率調整を実現し、ImageNet上でのSGD反復回数を最大5倍、学習時間を8.78倍短縮する。ハイパーパrameterの微調整が最小限で済む状態で、最先端の高速化を達成する。

ABSTRACT

The most straightforward method to accelerate Stochastic Gradient Descent (SGD) computation is to distribute the randomly selected batch of inputs over multiple processors. To keep the distributed processors fully utilized requires commensurately growing the batch size. However, large batch training often leads to poorer generalization. A recently proposed solution for this problem is to use adaptive batch sizes in SGD. In this case, one starts with a small number of processes and scales the processes as training progresses. Two major challenges with this approach are (i) that dynamically resizing the cluster can add non-trivial overhead, in part since it is currently not supported, and (ii) that the overall speed up is limited by the initial phase with smaller batches. In this work, we address both challenges by developing a new adaptive batch size framework, with autoscaling based on the Ray framework. This allows very efficient elastic scaling with negligible resizing overhead (0.32\% of time for ResNet18 ImageNet training). Furthermore, we propose a new adaptive batch size training scheme using second order methods and adversarial training. These enable increasing batch sizes earlier during training, which leads to better training time. We extensively evaluate our method on Cifar-10/100, SVHN, TinyImageNet, and ImageNet datasets, using multiple neural networks, including ResNets and smaller networks such as SqueezeNext. Our method exceeds the performance of existing solutions in terms of both accuracy and the number of SGD iterations (up to 1\% and $5 imes$, respectively). Importantly, this is achieved without any additional hyper-parameter tuning to tailor our method in any of these experiments.

研究の動機と目的

• 急峻な損失ランドスケープによる一般化性能の低下と、大バッチSGD学習におけるスループットの限界を解消する。
• 大バッチサイズ学習における初期の小バッチフェーズのボトルネックを克服し、弾性スケーリングにもかかわらず全体の高速化が制限される問題を解決する。
• 動的バッチサイズとクラスタサイズの再調整を可能にする、スケーラブルで低オーバーヘッドのフレームワークを構築する。
• 2次Hessian情報と敵対的訓練を統合し、学習途中でより早期かつ安全にバッチサイズを拡大可能にする。
• 多様なデータセットとアーキテクチャにおいて、最小限のハイパーパrameterチューニングで高速収束と高い精度を達成する。

提案手法

• 損失ランドスケープの湾曲度に基づき、Hessianスペクトル解析を用いてバッチサイズと学習率を動的に調整する適応的バッチサイズ（ABS）手法を提案する。
• min-max最適化を用いて敵対的耐性を統合した、Adaptive Batch Size Adversarial（ABSA）学習を導入し、急峻な極小値に対する暗黙の正則化を実現する。
• Rayに基づく分散フレームワークを実装し、クラスタサイズの再調整にほぼゼロのオーバーヘッド（0.32%）を発生させ、弾力的なスケーリングを可能にする。
• 初期学習フェーズでは勾配蓄積を用い、1〜2台のGPUでのみHessian情報を効率的に計算することで、Hessian計算コストを最小限に抑える（全学習時間の9.3%未満）。
• 最終実験でのみチューニングを行う、徐徐に増加するバッチサイズと学習率のウォームアップフェーズを導入し、収束をさらに加速する。
• 敵対的訓練に起因する暗黙の正則化を活用し、バッチサイズを早期に増大させても学習を安定化させ、一般化性能と耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 2次Hessian情報により、初期の小バッチフェーズのボトルネックを克服し、学習途中でより早期かつ安全にバッチサイズを増大できるか？
• RQ2 Hessianに基づく適応的バッチサイズ制御と敵対的訓練を統合することで、大バッチ学習における一般化性能と耐性が向上するか？
• RQ3 Rayベースのフレームワークにより、学習中における弾力的で低オーバーヘッドのクラスタサイズ再調整が可能となり、従来手法の通信コストや再起動コストを排除できるか？
• RQ4 特に大バッチサイズにスケーリングする際、精度を損なわず、SGD反復回数をどの程度削減できるか？
• RQ5 提案手法は、最小限のハイパーパrameterチューニングで、多様なデータセットとアーキテクチャにおいて最先端の高速化を達成できるか？

主な発見

• ABSAはCIFAR-10で最大5倍、ImageNet（ResNet18）で28.8倍のSGD反復回数削減を達成し、ImageNetではトップ1精度70.04%を14.8K回の更新で達成した。
• 最小限のハイパーパrameterチューニング（ウォームアップフェーズのみ）で、ResNet18のImageNet学習が8.78倍高速化され、全学習時間は125K秒から14.2K秒に短縮された。
• Rayベースのフレームワークはクラスタサイズ再調整にわずか0.32%のオーバーヘッドしか発生せず、性能への影響を最小限に抑えながら効率的な弾力的スケーリングを実現した。
• Hessian計算は全学習時間の9.3%にとどまり、主なボトルネックは少数GPUでの初期フェーズの勾配蓄積に起因する。
• CIFAR-10でResNet18を90エポック学習し、最終バッチサイズ16Kで84.24%の精度を達成した。これは標準的大バッチSGD（76.82%）および小バッチSGD（83.05%）を上回った。
• 本手法はアーキテクチャ（ResNet、SqueezeNext、AlexNet）およびデータセット（CIFAR-10/100、SVHN、TinyImageNet、ImageNet）の両方で汎用性を示し、精度と反復効率の両面でベースラインを常に上回った。