[論文レビュー] WeMix: How to Better Utilize Data Augmentation

Yi Xu, Asaf Noy+4 more|arXiv (Cornell University)|Oct 3, 2020

Privacy-Preserving Technologies in Data参考文献 66被引用数 13

ひとこと要約

WeMixは、2つの理論的裏付けに基づく手法—AugDropとMixLoss—を用いて、拡張データにおける分布バイアスを是正する画期的なデータ拡張フレームワークを提案する。これにより、追加の学習コストをかけずに汎化性能が向上する。実験的評価では、画像認識およびNLPのベンチマークにおいて一貫した性能向上が確認され、バイアス補正型データ拡張の有効性が裏付けられる。

ABSTRACT

Data augmentation is a widely used training trick in deep learning to improve the network generalization ability. Despite many encouraging results, several recent studies did point out limitations of the conventional data augmentation scheme in certain scenarios, calling for a better theoretical understanding of data augmentation. In this work, we develop a comprehensive analysis that reveals pros and cons of data augmentation. The main limitation of data augmentation arises from the data bias, i.e. the augmented data distribution can be quite different from the original one. This data bias leads to a suboptimal performance of existing data augmentation methods. To this end, we develop two novel algorithms, termed "AugDrop" and "MixLoss", to correct the data bias in the data augmentation. Our theoretical analysis shows that both algorithms are guaranteed to improve the effect of data augmentation through the bias correction, which is further validated by our empirical studies. Finally, we propose a generic algorithm "WeMix" by combining AugDrop and MixLoss, whose effectiveness is observed from extensive empirical evaluations.

研究の動機と目的

• 従来のデータ拡張手法が、元のデータと拡張データの間で分布バイアスが生じることで汎化性能が低下するという限界に対処すること。
• 特に非凸な深層学習設定下において、データ拡張がモデル性能をどのように向上させるかの理論的理解を提供すること。
• データバイアスが大きい場合でも、拡張データを効果的に活用できるアルゴリズムを設計すること。
• AugDropとMixLossを統合した汎用的で効率的なアルゴリズム—WeMix—を設計し、多様なタスクにおけるモデルの汎化性能を向上させること。

提案手法

• AugDropは、元のデータと拡張データの間の分布シフトを考慮するために、制約付き最適化問題を定式化することで、データバイアスを是正する。
• MixLossは損失関数を変更し、予測を真のラベル分布に一致させることで、ラベルミキシング拡張（例：mixup）によって生じるバイアスを効果的に軽減する。
• このフレームワークは、AugDropとMixLossを1つの学習パイプラインに統合し、汎化性能の向上を実現しながらも、学習効率を維持する。
• 理論的分析により、AugDropおよびMixLossが、大きな分布シフト下でも一般化誤差を是正することで低減できることを証明した。
• WeMixは、標準的な深層学習の学習ループと互換性があるプラグイン型ソリューションとして設計されており、アーキテクチャの変更や追加のハイパーパrameterが不要である。
• 実証的検証では、画像分類およびNLP分野の標準ベンチマークを用い、複数のデータセットおよびモデルで一貫した改善が確認された。

実験結果

リサーチクエスチョン

• RQ1 データ拡張が深層学習における汎化性能を向上させる条件は何か、特に拡張によって生じるデータ分布シフトの下でどうなるか。
• RQ2 元のデータと拡張データの間のデータバイアスが大きい場合、なぜ従来のデータ拡張手法が失敗するか、または性能を発揮できないのか。
• RQ3 大きな分布シフト下でも、データバイアスを是正し、汎化性能を向上させる理論的裏付けのあるアルゴリズムを設計できるか。
• RQ4 複数のバイアス是正メカニズムを、1つの効率的で汎用的な学習アルゴリズムに統合する方法は何か。

主な発見

• AugDropおよびMixLossは、理論的に一般化誤差を是正することで、バイアスが大きくても性能が向上することを保証する。
• AugDropとMixLossを統合したWeMixは、CIFAR-10、ImageNet、GLUEを含む複数のビジョンおよびNLPベンチマークで一貫した性能向上を達成する。
• WeMixは、学習コストを増加させることなく、標準的なデータ拡張よりも高い精度を達成しており、既存モデルへの即時適用が可能な改善手法である。
• 実験結果から、WeMixは従来手法が性能を低下させるような強い拡張設定下でも、ベースライン手法を上回ることが示された。
• 理論的分析により、AugDropおよびMixLossが、データバイアスとモデルの滑らかさに依存する収束速度で、有界な一般化誤差を持つ解に収束することが確認された。