[論文レビュー] Augment your batch: better training with larger batches

Elad Hoffer, Tal Ben‐Nun+4 more|arXiv (Cornell University)|Jan 27, 2019

Machine Learning and Algorithms参考文献 37被引用数 50

ひとこと要約

Batch Augmentation (BA) は、サンプルごとに複数の拡張を適用することで有効バッチサイズを拡大し、学習率スケジュールを変更せずに収束速度と最終的な汎化性能を向上させます。

ABSTRACT

Large-batch SGD is important for scaling training of deep neural networks. However, without fine-tuning hyperparameter schedules, the generalization of the model may be hampered. We propose to use batch augmentation: replicating instances of samples within the same batch with different data augmentations. Batch augmentation acts as a regularizer and an accelerator, increasing both generalization and performance scaling. We analyze the effect of batch augmentation on gradient variance and show that it empirically improves convergence for a wide variety of deep neural networks and datasets. Our results show that batch augmentation reduces the number of necessary SGD updates to achieve the same accuracy as the state-of-the-art. Overall, this simple yet effective method enables faster training and better generalization by allowing more computational resources to be used concurrently.

研究の動機と目的

• ハイパーパラメータ調整を行わずに大規模バッチ SGD の課題と一般化の劣化を動機づける。
• バッチ内で各サンプルの複数の変換済みコピーを使用する、単純な正則化項兼加速器として Batch Augmentation を提案する。
• BA が勾配分散と収束に与える影響を理論的・実証的に分析する。
• さまざまなアーキテクチャとハードウェア構成で、CIFAR-10/100、ImageNet、言語モデリングにおける BA の有効性を示す。

提案手法

• バッチ内の各入力 x_n に対して M 個の拡張インスタンス T_i(x_n) を作成することで BA を定義し、有効バッチサイズを M·B に形成する。
• Update rule with BA: w_{t+1} = w_t - η / (M·B) ∑_{i=1}^M ∑_{n∈B(k(t))} ∇_w ℓ(w_t, T_i(x_n), y_n).
• BA は標準的な大規模バッチ学習と比較して勾配/ヘシ汀分散を低減し、汎化性能の悪い極小値への収束を緩和すると主張する。
• バッチ平均ヘシアンの最大固有値 λ_max と SGD の収束性を結ぶ理論的議論を提供し、BA の相関勾配がこれをどのように修正し得るかを述べる。
• BA 下での勾配相関と分散を実証的に測定し、分散の低減と改善された学習ダイナミクスを示す。
• 多GPUおよびCrayスーパーコンピュータシステム上での分散BA実装とスケーラビリティを示す。

実験結果

リサーチクエスチョン

• RQ1 学習率スケジュールを変更せずに、大規模バッチ SGD に対してバッチ拡張は一般化性能を改善するか？
• RQ2 BA はデータセットとモデル間で勾配分散と SGD の収束領域にどのような影響を与えるか？
• RQ3 マルチGPUまたはマルチノード環境で、より大きな有効バッチサイズを可能にしつつ、トレーニングスループットを維持または向上できるか？
• RQ4 CIFAR-10/100 や ImageNet のような標準ベンチマーク、および 中間拡張として Dropout を用いた言語モデリングにおける BA の実証的効果は何か？

主な発見

バッチサイズ	スループット [画像/秒]	標準偏差
1	29.9	0.07
2	53.9	0.71
4	87.8	0.31
8	126.9	0.48
16	172.5	0.29
32	210.1	2.40
64	234.4	0.12
128	247.9	0.12

• BA はベースラインと比較して、複数のモデル/データセット（例: CIFAR-10/100、ImageNet、PTB）で最終検証精度を向上させる。
• BA はエポックあたりの収束を加速し、ベースライン学習よりも少ない反復回数（エポック）でより高い精度を達成する。
• ResNet44 と Cutout を用いた CIFAR-10 で、M が最大40の BA はベースラインを上回る精度を生んだ（例: ResNet44: 93.07% → 93.78% (M=40); Cutout: 93.7% → 95.43% (M=40)）。
• ImageNet の実験では、ResNet50、MobileNet、AlexNet の最終検証精度が BA により改善され、AlexNet は絶対値で 4 ポイント超の精度向上を得た。
• BA は LR スケジュールの調整なしに大きな有効バッチサイズ（例: 2,560）へスケールさせることを可能にし、実行時間への影響も最小限に抑える。
• BA は学習中の勾配分散を減らし、勾配ノルムの縮小とより安定した更新（L2 ノルムの減少）として実験を通じて表れる。
• 言語モデリング（PTB）では、Dropout を用いた中間拡張を組み合わせた BA が、ベースラインよりほんの僅かな perplexity の改善（0.2 ポイント）を提供した。