[論文レビュー] Sample Efficiency of Data Augmentation Consistency Regularization

Shuo Yang, Yijun Dong+4 more|arXiv (Cornell University)|Feb 24, 2022

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本論文は理論的分析を通じて、線形モデルおよび非線形モデルの両方において、Data Augmentation Consistency (DAC)正則化がData Augmentation Empirical Risk Minimization (DA-ERM)よりも本質的に標本効率が良いことを示している。DACはより強い不変性を強制し、ラベル不正確な増幅に対してより耐性があるため、一般化誤差を低減することが可能であり、WideResNetを用いたCIFAR-100上での実験でも裏付けられている。

ABSTRACT

Data augmentation is popular in the training of large neural networks; currently, however, there is no clear theoretical comparison between different algorithmic choices on how to use augmented data. In this paper, we take a step in this direction - we first present a simple and novel analysis for linear regression with label invariant augmentations, demonstrating that data augmentation consistency (DAC) is intrinsically more efficient than empirical risk minimization on augmented data (DA-ERM). The analysis is then extended to misspecified augmentations (i.e., augmentations that change the labels), which again demonstrates the merit of DAC over DA-ERM. Further, we extend our analysis to non-linear models (e.g., neural networks) and present generalization bounds. Finally, we perform experiments that make a clean and apples-to-apples comparison (i.e., with no extra modeling or data tweaks) between DAC and DA-ERM using CIFAR-100 and WideResNet; these together demonstrate the superior efficacy of DAC.

研究の動機と目的

• 深層学習モデルの学習に一般的に用いられるData Augmentation Consistency (DAC)とData Augmentation Empirical Risk Minimization (DA-ERM)の間の標本効率を理論的に比較すること。
• ラベルなしデータが存在する状況で、DACがDA-ERMに比べて本質的なアルゴリズム的利点を有するかどうかを調査すること。
• 線形モデルからの理論的分析を、2層のニューラルネットワークや拡張ベースの増幅を用いたDNNベースの分類器を含む非線形モデルへと拡張すること。
• 非線形設定における一貫性正則化の一般化バウンドを提供し、理論と実践的設計選択の間の関連を明確にすること。
• 追加のデータやモデルの変更なしに、CIFAR-100においてWideResNetを用いてDACとDA-ERMを明確に、同じ条件で比較する実験的評価を行うこと。

提案手法

• ラベル不変な増幅を伴う線形回帰におけるDACとDA-ERMを比較するための新しい理論的枠組みを提案し、DACが一般化誤差を厳密に小さくすることを示した。
• ラベルを変更する可能性のある不正確な増幅（ミススペシフィード増幅）の状況にも分析を拡張し、DACの優れた耐性と、DA-ERMに比べて小さい近似誤差を示した。
• 2層ReLUネットワークや拡張ベースの増幅を用いたDNNベースの分類器におけるDACの一般化バウンドを導出。
• ガウス幅とリプシッツ連続性を用いて、増幅されたデータ多様体の複雑さをバウンドし、モデルの複雑さと一般化性能の関連を結びつけた。
• 実験では、制御された強度（n ∈ {1,2,5,10}）を持つRandAugmentを用いて増幅サンプルを生成し、一貫した増幅ポリシーを確保した。
• ラベル付きデータ量（1k, 10k, 20k）を変化させたアブレーションスタディを実施し、CIFAR-100におけるWideResNetを用いた同一の学習プロトコル下でDACとDA-ERMを比較した。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしデータが存在する状況で、Data Augmentation Consistency (DAC) は DA-ERM よりも本質的に標本効率が良いのか？
• RQ2 増幅が不正確（すなわちラベルを変更）な場合、DACとDA-ERM は推定誤差および近似誤差の観点でどのように比較されるか？
• RQ3 2層のニューラルネットワークのような非線形モデルにおいて、一貫性正則化の一般化バウンドを理論的に導出できるか？
• RQ4 増幅強度などのハイパーパrameterの選択が、DACとDA-ERM 間の性能差にどのように影響するか？
• RQ5 明確で制御された実験環境下で、DACは実際の応用においてDA-ERMをどの程度上回るか？

主な発見

• ラベル不変な増幅を伴う線形回帰において、DACはDA-ERM よりも一般化誤差を厳密に小さくし、本質的な標本効率を示した。
• DACは不正確な増幅をよりよく耐えることができ、DA-ERM よりも小さい近似誤差を発生させた。DA-ERM は増幅によるラベル変更に対して感受性が高かった。
• 2層ReLUネットワークにおけるDACの一般化バウンドは、一貫性正則化がモデルの複雑さを低減し、一般化性能を向上させることを示した。
• CIFAR-100におけるWideResNetを用いた実験結果から、1k, 10k, 20kのラベル付きデータのすべてのスケールでDACがDA-ERMを上回り、一貫した精度向上が確認された。
• 理論的分析により、FixMatchのような一貫性正則化では強い増幅が可能であるが、FixMatchのような疑似ラベル化では不可能である理由が説明された。これはDACがラベルシフトに対して頑健であるためである。
• 実験では、最小限のラベル付きデータでもDACが優れた性能を維持しており、低データ環境における価値が浮き彫りになった。