[論文レビュー] Improving Robustness Without Sacrificing Accuracy with Patch Gaussian Augmentation

Raphael Gontijo Lopes, Dong Yin+3 more|arXiv (Cornell University)|Jun 6, 2019

Adversarial Robustness in Machine Learning被引用数 82

ひとこと要約

Patch Gaussian は、画像のランダムなパッチにガウスノイズを加えるデータ拡張であり、ガウスノイズと Cutout の間を補間し、CIFAR-C および ImageNet-C で最先端の頑健性とクリーンな精度を達成し、AutoAugment や他の正則化手法とも互換性がある。

ABSTRACT

Deploying machine learning systems in the real world requires both high\naccuracy on clean data and robustness to naturally occurring corruptions. While\narchitectural advances have led to improved accuracy, building robust models\nremains challenging. Prior work has argued that there is an inherent trade-off\nbetween robustness and accuracy, which is exemplified by standard data augment\ntechniques such as Cutout, which improves clean accuracy but not robustness,\nand additive Gaussian noise, which improves robustness but hurts accuracy. To\novercome this trade-off, we introduce Patch Gaussian, a simple augmentation\nscheme that adds noise to randomly selected patches in an input image. Models\ntrained with Patch Gaussian achieve state of the art on the CIFAR-10 and\nImageNetCommon Corruptions benchmarks while also improving accuracy on clean\ndata. We find that this augmentation leads to reduced sensitivity to high\nfrequency noise(similar to Gaussian) while retaining the ability to take\nadvantage of relevant high frequency information in the image (similar to\nCutout). Finally, we show that Patch Gaussian can be used in conjunction with\nother regularization methods and data augmentation policies such as\nAutoAugment, and improves performance on the COCO object detection benchmark.\n

研究の動機と目的

• Cutout や Gaussian のような標準的な拡張における頑健性と精度のトレードオフを動機づける。
• Patch Gaussian を提案し、Cutout と Gaussian の間を補間する。
• Patch Gaussian が最先端の頑健性（CIFAR-C および ImageNet-C）を達成しつつ、クリーン精度を向上させることを示す。
• 他の正則化手法やオーギュメンテーション方針との互換性を示す。
• Patch Gaussian が頑健性を向上させる理由を、周波数ベースの挙動を分析して理解する。

提案手法

• Patch Gaussian の導入: 画像の W x W パッチにガウスノイズを適用する。
• パッチサイズ W と最大ノイズ標準偏差 sigma_max でハイパーパラメータ化し、Gaussian（大きなパッチ、全画像）と Cutout（パッチ内ノイズ）の間を補間する。
• CIFAR-10 および ImageNet で Patch Gaussian を用いてモデルを訓練し、Cutout および Gaussian のベースラインと比較する。
• CIFAR-C と ImageNet-C で mean Corruption Error (mCE) を用いて頑健性を評価し、追加の JPEG 圧縮を行わないバージョンも含む。
• 正則化手法（ラベル平滑化、ウェイト減衰、DropBlock）および AutoAugment 方針との相互作用を分析する。
• Patch Gaussian が層を横断する特徴量の利用にどのように影響するかを理解するため、フーリエ領域の周波数感度分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 Patch Gaussian は Cutout と Gaussian の単独で示される頑健性と精度のトレードオフを打ち破れるか？
• RQ2 Patch Gaussian はガウスノイズを超える現実的な破損に対して頑健性の向上を提供するか？
• RQ3 Patch Gaussian は他の正則化技術や拡張方針と互換性があるか？
• RQ4 Patch Gaussian は分類を超えて物体検出（例：COCO）で性能を向上させるか？
• RQ5 Cutout および Gaussian と比較した Patch Gaussian 訓練モデルの周波数領域での挙動はどうなるか？

主な発見

• Patch Gaussian は Cutout と Gaussian の精度と頑健性のトレードオフを克服し、クリーン精度と頑健性の双方を向上させる。
• CIFAR-10 で Wide ResNet-28-10 を用いると、Patch Gaussian は CIFAR-C の mCE で最先端を達成し、ベースラインよりクリーン精度が高い。
• ImageNet-C では Patch Gaussian が最先端の mCE を達成し、ResNet-50 および ResNet-200 の派生で元の（jpeg 圧縮済み）およびノイズなしの mCE 指標を改善する。
• Patch Gaussian は AutoAugment や他の正則化手法とよく組み合わさり、DropBlock や ラベル平滑化と組み合わせたときに最も頑健性を発揮することがある。
• Patch Gaussian は基準拡張と比較して、ResNet-50 バックボーンの COCO 物体検出の mAP も改善する。
• フーリエ分析は、Patch Gaussian が低層で高周波情報の使用を可能にしつつ頑健性を維持することを示しており、Gaussian（低域）や Cutout（高周波への依存）とは異なる。