[論文レビュー] Does Data Augmentation Benefit from Split BatchNorms

Amil Merchant, Barret Zoph+1 more|arXiv (Cornell University)|Oct 15, 2020

Stochastic Gradient Optimization Techniques参考文献 41被引用数 4

ひとこと要約

本稿では、分離バッチ正則化（split BatchNorm）—すなわち、綺麗な画像と増幅画像のそれぞれに対して別々の統計を用いる手法—が、データ増幅におけるモデル性能を向上させるかを調査している。その結果、メインのバッチ正則化を定義するのに、綺麗な画像ではなく弱い増幅画像（weak augmentations）を用いることで、CIFAR-10、CIFAR-100、ImageNetにおいて精度が著しく向上することが判明した。予測平均化によるロバストネスの維持も可能であり、精度と汚損耐性（corruption robustness）のトレードオフが明らかになった。

ABSTRACT

Data augmentation has emerged as a powerful technique for improving the performance of deep neural networks and led to state-of-the-art results in computer vision. However, state-of-the-art data augmentation strongly distorts training images, leading to a disparity between examples seen during training and inference. In this work, we explore a recently proposed training paradigm in order to correct for this disparity: using an auxiliary BatchNorm for the potentially out-of-distribution, strongly augmented images. Our experiments then focus on how to define the BatchNorm parameters that are used at evaluation. To eliminate the train-test disparity, we experiment with using the batch statistics defined by clean training images only, yet surprisingly find that this does not yield improvements in model performance. Instead, we investigate using BatchNorm parameters defined by weak augmentations and find that this method significantly improves the performance of common image classification benchmarks such as CIFAR-10, CIFAR-100, and ImageNet. We then explore a fundamental trade-off between accuracy and robustness coming from using different BatchNorm parameters, providing greater insight into the benefits of data augmentation on model performance.

研究の動機と目的

• ディープラーニングにおける過剰なデータ増幅が引き起こす訓練時とテスト時の分布乖離を是正すること。
• 分離バッチ正則化（綺麗な画像と増幅画像のそれぞれに対して別々の統計を用いる）が、この乖離を軽減できるかを調査すること。
• 推論時におけるバッチ正則化パラメータの最適な定義方法を特定し、モデル性能の向上を図ること。
• 異なるバッチ正則化パラメータ定義方法を用いた場合の、精度とロバストネスのトレードオフを分析すること。

提案手法

• 強力な増幅を施された分布外の画像に対して、補助的なバッチ正則化を用いる分離バッチ正則化の訓練パラダイムを採用する。
• メインのバッチ正則化を、綺麗な画像ではなく弱い増幅画像の統計から定義する。
• 推論時において、メインと補助のバッチ正則化層からの予測の重み付き平均を用いることで、精度とロバストネスのバランスを取る。
• クリーンな精度、汚損耐性（Common Corruptions）、ノイズに対するフォーリエ感度を評価してモデル性能を測定する。
• 周波数領域でのローパスフィルタリングを適用し、周波数成分の使用状況を分析することで、性能向上の理由を説明する。
• 弱い増幅が性能向上に寄与する要因を分離するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 分離バッチ正則化の設定において、メインのバッチ正則化を定義するのに綺麗な（増幅なしの）画像を用いることで、モデル性能が向上するか？
• RQ2 弱い増幅画像を用いてメインのバッチ正則化を定義することで、綺麗な画像を用いる場合よりも優れた性能が得られるか？
• RQ3 異なるバッチ正則化パラメータ定義方法を用いた場合、モデルの精度とロバストネスのトレードオフはどのように変化するか？
• RQ4 増幅画像の周波数成分は、分離バッチ正則化設定における性能向上とどのように関係しているか？

主な発見

• 分離バッチ正則化の設定において、メインのバッチ正則化を定義するのに綺麗な画像を用いることは性能向上に寄与せず、過学習のため逆に悪影響を及ぼす可能性がある。
• 弱い増幅画像の統計を用いてメインのバッチ正則化を定義することで、CIFAR-10、CIFAR-100、ImageNetベンチマークにおいてクリーンな精度が顕著に向上する。
• 強力な増幅画像で訓練された補助バッチ正則化は、高周波数ノイズに対してより感受性が高いため、ロバストネスが低下していることが示された。
• メインと補助のバッチ正則化層からの予測を平均化することで、強力な増幅による精度向上の大部分を維持しながら、ロバストネスを回復できる。
• 弱い増幅を用いることで、モデルが訓練データの高周波数情報をより効果的に活用できることが、フォーリエドメインでのフィルタリング実験で示された。
• 弱い増幅を用いてメインのバッチ正則化を定義したモデルは、増幅なしの状態と強力な増幅（例：RandAugment）の周波数使用傾向の間を効果的に補間している。