[論文レビュー] Improving Robustness Without Sacrificing Accuracy with Patch Gaussian Augmentation

Raphael Gontijo Lopes, Dong Yin+3 more|arXiv (Cornell University)|Jun 6, 2019

Adversarial Robustness in Machine Learning参考文献 50被引用数 94

ひとこと要約

Patch Gaussian は、画像のランダムなパッチにガウスノイズを加えるシンプルなデータ拡張で、ガウスとCutout の間を補間し、CIFAR-C および ImageNet-C で最先端の頑健性を達成しつつ、クリーン精度を維持または向上させます。

ABSTRACT

Deploying machine learning systems in the real world requires both high accuracy on clean data and robustness to naturally occurring corruptions. While architectural advances have led to improved accuracy, building robust models remains challenging. Prior work has argued that there is an inherent trade-off between robustness and accuracy, which is exemplified by standard data augment techniques such as Cutout, which improves clean accuracy but not robustness, and additive Gaussian noise, which improves robustness but hurts accuracy. To overcome this trade-off, we introduce Patch Gaussian, a simple augmentation scheme that adds noise to randomly selected patches in an input image. Models trained with Patch Gaussian achieve state of the art on the CIFAR-10 and ImageNetCommon Corruptions benchmarks while also improving accuracy on clean data. We find that this augmentation leads to reduced sensitivity to high frequency noise(similar to Gaussian) while retaining the ability to take advantage of relevant high frequency information in the image (similar to Cutout). Finally, we show that Patch Gaussian can be used in conjunction with other regularization methods and data augmentation policies such as AutoAugment, and improves performance on the COCO object detection benchmark.

研究の動機と目的

• 標準的な拡張の頑健性と精度のトレードオフを動機付け、Cutout と Gaussian の両方について定量化する。
• Patch Gaussian を導入して Cutout と Gaussian の間を補間し、トレードオフを克服する。
• Patch Gaussian が CIFAR-C および ImageNet-C で最先端の頑健性を達成し、他の正則化手法やポリシーと互換性があることを示す。
• Patch Gaussian が物体検出（COCO）での利点を示し、周波数領域の影響を分析して挙動を理解する。

提案手法

• Patch Gaussian を、画像に W × W のパッチ状ガウスノイズを追加するものとして定義し、パッチサイズ W と最大ノイズ σ_max を制御可能とする。
• パッチサイズと σ_max を変化させて、ガウスノイズ（全画像ノイズ）と Cutout（パッチベースの情報削除）の間を補間する。
• ハイパーパラメータを、クリーン精度 Z（データセット/モデル依存）を一定以上に維持しつつガウスノイズ耐性を最大化することによって選択する。
• CIFAR-10 および ImageNet を標準的な拡張とともに評価し、Baseline、Cutout、Gaussian と比較する。
• 他の正則化手法（Dropblock、ラベル平滑化）および AutoAugment ポリシーとの相互作用を分析する。
• Patch Gaussian が低/高周波情報に与える影響を理解するために周波数領域分析を実施する。

Figure 1: Patch Gaussian augmentation overcomes the accuracy/robustness trade-off observed in other augmentation strategies. Larger $\sigma$ of Patch Gaussian improves both mean corruption error (mCE) and clean accuracy, whereas larger $\sigma$ of Gaussian and patch size of Cutout hurt accuracy or r

実験結果

リサーチクエスチョン

• RQ1 Patch Gaussian は Cutout および Gaussian で見られる伝統的な頑健性-精度トレードオフを克服できるか？
• RQ2 最良のクリーン精度と頑健性のバランスをもたらすハイパーパラメータ設定（パッチサイズ、σ_max）は何か？
• RQ3 Patch Gaussian は Gaussian のみの頑健性を超えた実世界の破損ベンチマーク（CIFAR-C、ImageNet-C）での頑健性を改善するか？
• RQ4 Patch Gaussian は他の正則化戦略および拡張ポリシーと互換性があり、物体検出タスクへ転移するか？

主な発見

拡張法	テスト精度	mCE	mCE (-ノイズ)
Baseline (Wide ResNet-28-10 CIFAR-10)	96.2%	1.000	1.000
Cutout	96.8%	1.265	1.185
Cutout 16*	97.0%	1.002	0.953
Gaussian	94.1%	0.887	0.995
Patch Gaussian	96.6%	0.797	0.858
Augmentation (Shake-112) Baseline	96.8%	1.000	1.000
Cutout	97.1%	0.946	0.930
Cutout 16*	97.5%	0.912	0.872
Gaussian	94.6%	0.977	1.111
Patch Gaussian	97.2%	0.713	0.776

• Patch Gaussian は CIFAR-10 および ImageNet でクリーン精度と頑健性の同時改善を達成し、Cutout/Gaussian のトレードオフを克服する。
• CIFAR-C および ImageNet-C で Patch Gaussian は最先端の mean corruption error（mCE）を達成し、ベースラインに対してクリーン精度を改善する。
• Patch Gaussian は Dropblock および AutoAugment と組み合わせて頑健性をさらに高めることができ、一部の組み合わせで最良の結果を得る。
• 物体検出（COCO）では Patch Gaussian がクリーンデータの mean average precision（mAP）を改善し、破損時の頑健性を維持する。
• 周波数解析は Patch Gaussian が低位の層で有用な高周波情報を保持しつつ、後位の層で高周波への感受性を低減することを示し、Cutout と Gaussian の長所を併せ持つ。

Figure 3: Patch Gaussian is the addition of Gaussian noise to pixels in a square patch. It allows us to interpolate between Gaussian and Cutout , approaching Gaussian with increasing patch size and Cutout with increasing $\sigma$ .