[論文レビュー] Data Augmentation Can Improve Robustness

Sylvestre-Alvise Rebuffi, Sven Gowal+4 more|arXiv (Cornell University)|Nov 9, 2021

Adversarial Robustness in Machine Learning被引用数 13

ひとこと要約

この論文は、特にCutMixを用いたデータ拡張とモデル重み平均化を組み合わせることで、CIFAR-10における敵対的ロバストネスが顕著に向上することを示している。ε=8/255のℓ∞ノイズに対して60.07%のロバスト精度を達成し、外部データを用いない既存の最先端手法よりも+2.93%の絶対的向上を達成した。この手法は、ロバスト過学習を軽減し、訓練中に得られる多様な高性能なモデルスナップショットを効果的にアンサンブル化することで機能する。

ABSTRACT

Adversarial training suffers from robust overfitting, a phenomenon where the robust test accuracy starts to decrease during training. In this paper, we focus on reducing robust overfitting by using common data augmentation schemes. We demonstrate that, contrary to previous findings, when combined with model weight averaging, data augmentation can significantly boost robust accuracy. Furthermore, we compare various augmentations techniques and observe that spatial composition techniques work the best for adversarial training. Finally, we evaluate our approach on CIFAR-10 against $\ell_\infty$ and $\ell_2$ norm-bounded perturbations of size $ε= 8/255$ and $ε= 128/255$, respectively. We show large absolute improvements of +2.93% and +2.16% in robust accuracy compared to previous state-of-the-art methods. In particular, against $\ell_\infty$ norm-bounded perturbations of size $ε= 8/255$, our model reaches 60.07% robust accuracy without using any external data. We also achieve a significant performance boost with this approach while using other architectures and datasets such as CIFAR-100, SVHN and TinyImageNet.

研究の動機と目的

• 標準学習では成功したが敵対的学習ではロバストネス向上に寄与しなかったデータ拡張の矛盾を解消すること。
• 特にロバスト過学習の緩和に寄与するかどうかを検証するために、データ拡張とモデル重み平均化を組み合わせた場合にロバストネスが向上するかを調査すること。
• 敵対的学習において最も効果的なデータ拡張手法を同定し、その向上メカニズムを解明すること。
• 異なるアーサテクチャ、データセット（例：CIFAR-100、SVHN、TinyImageNet）、脅威モデル（ℓ∞およびℓ2ノイズ）における本手法の一般化性能を評価すること。

提案手法

• 著者らは、Cutout、CutMix、MixUpといったデータ拡張手法とモデル重み平均化（WA）を組み合わせることで、ロバスト一般化を向上させた。
• PGD攻撃を用いた敵対的学習によりモデルを訓練し、訓練中に収集したモデルスナップショットを重み平均化することでアンサンブルを構築した。
• この手法は、局所線形性仮定の下で重み平均化がモデルアンサンブルを近似できることを利用しており、多様なモデル状態の効率的かつ効果的なアンサンブルを可能にした。
• CutMixはロバスト過学習を低減し、モデルスナップショット間での個々の予測の多様性を促進する能力があるため、主にCutMixを採用した。
• 学習率スケジューリングと早期停止を用いてロバストネスと一般化性能のバランスを図り、重み平均化の減衰率に関するアブレーションスタディも実施した。
• 複数のデータセットおよびアーサテクチャにおいて、ℓ∞およびℓ2ノルム制限付きノイズに対するロバストネスをAutoAttackを用いて評価した。

実験結果

リサーチクエスチョン

• RQ1 先行研究とは対照的に、データ拡張とモデル重み平均化を組み合わせることで敵対的ロバストネスが向上するのか？
• RQ2 空間的合成手法（例：CutMix）が、MixUpなどの他の拡張法よりも敵対的学習で優れている理由は何か？
• RQ3 モデル重み平均化は、モデルスナップショットの多様性をどのように活用してロバストネスを向上させるのか？
• RQ4 ロバスト過学習とアンダーフィットのトレードオフは何か？ また、そのバランスが異なる拡張法を用いた重み平均化の性能にどのように影響するか？
• RQ5 本手法はCIFAR-10以外のアーサテクチャやデータセットに対しても一般化可能か？

主な発見

• CutMixとモデル重み平均化を組み合わせた手法は、CIFAR-10でε=8/255のℓ∞ノイズに対して60.07%のロバスト精度を達成し、既存の最先端手法よりも+2.93%の絶対的向上を達成した。
• CIFAR-10でε=128/255のℓ2ノイズに対しても、ロバスト精度が+2.16%向上し、脅威モデルの観点からも一般化性能が確認された。
• CutMixで訓練されたモデルスナップショットは、平均して1スナップショットあたり約888個の異なる誤りを示すなど、個々の予測の多様性が高く、同時に同じ総合ロバスト精度を維持しており、重み平均化による効果的なアンサンブルが可能であることがわかった。
• Pad & Cropを用いた重み平均化はCutMixより性能が悪く、ピークはτ=0.9925にとどまり、多様性が低い場合にロバスト過学習が性能向上を制限することが示された。
• 本手法は他のデータセットに対しても一般化可能であり、同じ学習設定でCIFAR-100、SVHN、TinyImageNetでも最先端または準最先端の性能を達成した。
• 実験結果から、ロバスト過学習を軽減する拡張法（例：CutMix）は、より多様なモデルスナップショットを生成し、重み平均化がその多様性を効果的に活用してロバストネスを向上させることを示した。