[論文レビュー] Drawing Multiple Augmentation Samples Per Image During Training Efficiently Decreases Test Error

Stanislav Fort, Andrew Brock+3 more|arXiv (Cornell University)|May 27, 2021

Advanced Neural Network Applications参考文献 38被引用数 4

ひとこと要約

本稿では、1枚の画像から複数の拡張サンプルを抽出する『拡張多重性』の向上を提案し、深層ResNetsおよびNFNetsにおけるテスト精度の向上を実現する。バッチサイズを固定した場合でも、訓練収束が遅くなるものの、高い拡張多重性は一貫して一般化性能を向上させ、同じ計算リソース予算内において、168,900回のパラメータ更新でNFNet-F5を用いてImageNetで86.8%のトップ1精度を達成し、標準的な訓練法を上回る性能を発揮した。

ABSTRACT

In computer vision, it is standard practice to draw a single sample from the data augmentation procedure for each unique image in the mini-batch. However recent work has suggested drawing multiple samples can achieve higher test accuracies. In this work, we provide a detailed empirical evaluation of how the number of augmentation samples per unique image influences model performance on held out data when training deep ResNets. We demonstrate drawing multiple samples per image consistently enhances the test accuracy achieved for both small and large batch training. Crucially, this benefit arises even if different numbers of augmentations per image perform the same number of parameter updates and gradient evaluations (requiring the same total compute). Although prior work has found variance in the gradient estimate arising from subsampling the dataset has an implicit regularization benefit, our experiments suggest variance which arises from the data augmentation process harms generalization. We apply these insights to the highly performant NFNet-F5, achieving 86.8$\%$ top-1 w/o extra data on ImageNet.

研究の動機と目的

• 1枚の画像あたりのデータ拡張サンプル数が深層学習におけるテスト精度に与える影響を調査すること。
• データ拡張によって生じるバイアスと分散の一般化への寄与を分離すること。
• データ拡張の利点が勾配の分散に起因するのか、それとも拡張によって誘発されるバイアス付きの勾配更新に起因するのかを評価すること。
• 特に大バッチ学習において、計算リソースが固定された条件下で拡張多重性が性能向上に寄与するかを評価すること。
• NFNet-F5のような最先端モデルにおける拡張多重性の有効性を検証すること。

提案手法

• ミニバッチ内で1つのユニークな画像から複数の拡張バージョンを抽出する『拡張多重性』を導入し、バッチサイズやユニークな画像数を変化させる。
• 2つの訓練方式を実装する：1つはバッチサイズを増やしながらユニークな画像数を固定する方式、もう1つはバッチサイズを固定し、多重性が増加するに従ってバッチ内のユニークな画像数を減らす方式。
• 両方の方式で深層ResNetsおよびNFNetsを訓練し、テスト精度と収束速度を比較する。
• 訓練期間とは独立して拡張多重性の影響を隔離するため、固定された総計算リソース予算（例：112,600または225,200回のパラメータ更新）を用いる。
• 強い最適化環境下での性能評価のため、NFNetsにSAM正則化を適用する。
• 標準的な訓練（拡張多重性 = 1）および先行研究のSOTAモデルと比較する。

実験結果

リサーチクエスチョン

• RQ1 1枚のユニークな画像あたりの拡張サンプル数を増加させることで、深層ResNetsにおけるテスト精度が向上するか？
• RQ2 データ拡張の一般化への利点は、勾配推定のバイアスに起因するのか、それとも拡張によって生じる分散に起因するのか？
• RQ3 パラメータ更新回数の合計が一定に保たれる条件下でも、高い拡張多重性による性能向上が持続するか？
• RQ4 拡張多重性は大バッチ学習および有限の学習率とどのように作用し合うか？
• RQ5 高い拡張多重性により、SOTA性能に到達するための訓練エポック数を削減できるか？

主な発見

• 拡張多重性を1から16に引き上げることで、NFNet-F5のImageNetにおけるテスト精度が0.4%向上し、追加データなしで86.8%のトップ1精度を達成した。
• 計算リソース予算を112,600回のパラメータ更新に固定した状態でも、拡張多重性16の設定は標準的訓練（多重性1）よりも高いテスト精度を達成した。
• バッチサイズを固定した場合、高い拡張多重性は収束が遅くなるが、特に大バッチ設定において顕著な一般化性能の向上をもたらした。
• 同じモデルを拡張多重性16で学習した場合、34エポック（168,900ステップ）で86.8%のトップ1精度に到達したが、ベースラインではより多くのエポックを要し、低い精度にとどまった。
• SAMを適用したNFNet-F3では、拡張多重性16で225,200回の更新後に86.45%のトップ1精度を達成した。これはNFNet-F6のベースラインと0.05%以内の差にとどまり、計算量は4分の1で、パラメータ数も少なく抑えられた。
• 同じミニバッチ内で同一画像の複数の拡張バージョンが抽出される場合、拡張多重性による性能向上が最も顕著に現れた。