[論文レビュー] How Much Data Are Augmentations Worth? An Investigation into Scaling Laws, Invariance, and Implicit Regularization

Jonas Geiping, Micah Goldblum+4 more|arXiv (Cornell University)|Oct 12, 2022

Gaussian Processes and Bayesian Inference被引用数 11

ひとこと要約

本論文は、スケーリング則を用いて、実データに対するデータ拡張（DA）の利点を定量化することで、DAのメカニズムを調査している。その結果、特に分布外一般化において、確率的変動と暗黙の正則化がもたらす影響により、拡張データは追加の実データよりも価値が高くなることがあることが判明した。TrivialAugや類似ポリシーは、小さなデータセットでさえも強力な性能を示している。

ABSTRACT

Despite the clear performance benefits of data augmentations, little is known about why they are so effective. In this paper, we disentangle several key mechanisms through which data augmentations operate. Establishing an exchange rate between augmented and additional real data, we find that in out-of-distribution testing scenarios, augmentations which yield samples that are diverse, but inconsistent with the data distribution can be even more valuable than additional training data. Moreover, we find that data augmentations which encourage invariances can be more valuable than invariance alone, especially on small and medium sized training sets. Following this observation, we show that augmentations induce additional stochasticity during training, effectively flattening the loss landscape.

研究の動機と目的

• データ拡張が単なるデータ拡張を超えて、モデルの一般化性能を向上させるメカニズムを解明すること。
• スケーリング則を用いて、拡張データと実トレーニングデータの間の交換レートを定量化すること。
• データ拡張の利点が、不変性のみによって説明できるのか、それとも確率的変動と暗黙の正則化が重要な役割を果たすのかを調査すること。
• 分布シフト下での損失関数の平坦性と一般化性能への拡張の影響を評価すること。
• データ分布から逸脱するような拡張でも、依然として性能向上をもたらすかどうかを検証すること。

提案手法

• 検証精度を代理指標として用い、与えられた数の拡張サンプルが実データの有効なサンプル数に相当するかを推定するためのべき乗則モデルを提案する。
• スケーリング則を用いて、拡張あり・なしの両状況で、さまざまなデータセットサイズにおけるモデル性能を比較し、$ f(x) = ax^{-c} + b $ の形の関数をフィッティングする。
• 勾配ノイズと曲率指標を用いてモデルの平坦性を測定し、データ拡張による正則化効果を評価する。
• TrivialAug、RandAug、AutoAugなどの多様な拡張戦略を適用し、インディスクリプションおよびアウトオブディストリビューション一般化への影響を評価する。
• CIFAR-10、CIFAR-10-C、ImageNetを用いた制御された実験により、一般化および損失関数の幾何的性質への拡張の影響を分離する。
• 性能曲線の逆スケーリングを用いて定義される「交換レート」の概念を導入し、拡張データと実データの価値を比較する。

実験結果

リサーチクエスチョン

• RQ1 分布シフト下において、データ拡張による性能向上は、実トレーニングデータの追加と比べてどの程度顕著か？
• RQ2 不変性、確率的変動、暗黙の正則化の各要因が、データ拡張の利点にどの程度寄与しているか？
• RQ3 データ分布から逸脱するような拡張でも、依然としてモデルの一般化性能を向上させることができるか？
• RQ4 データ拡張は損失関数の平坦性にどのように影響し、その平坦性が一般化性能の向上と関連しているか？
• RQ5 さまざまなモデルアーキテクチャとデータセットにおいて、拡張サンプルと実データサンプルの有効な交換レートはどのようになるか？

主な発見

• CIFAR-10-Cのような分布外テストセットでは、多様ではあるが分布的に不一致なサンプルを生成する拡張は、追加の実データよりも価値が高くなることがある。
• 不変性を促進する拡張は、不変性そのものよりも、特に小さな・中規模のトレーニングセットにおいてより効果的である。
• 拡張はトレーニング中に追加の確率的変動を引き起こし、勾配ノイズと曲率の測定により示されるように、平坦な損失関数の形状をもたらし、一般化性能の向上に寄与する。
• 拡張データと実データの交換レートは一定ではない。データセットサイズが大きくなると増加し、拡張がいかなる量の実データよりも優れる場合（例：TrivialAugを用いたCIFAR-10-C）、定義不能になることがある。
• TrivialAugmentや類似ポリシーは、小さなデータセットでも強力な性能を示しており、標準的な不変性を超えた有効な暗黙の正則化を誘発している可能性を示唆している。
• 拡張によって得られる有効なサンプル数とモデルの平坦性の間に強い相関が存在するが、TrivialAugについては、性能向上に見合わないほど人工的に平坦なモデルを生成する可能性がある。