[論文レビュー] Defending Against Image Corruptions Through Adversarial Augmentations

Dan A. Calian, Florian Stimberg+5 more|arXiv (Cornell University)|Apr 2, 2021

Adversarial Robustness in Machine Learning参考文献 71被引用数 4

ひとこと要約

本稿では、事前学習済みの画像対画像モデル（例：オートエンコーダ）のパラメータを最適化することで、意味を保ちつつ敵対的でない画像の劣化を生成するAdversarialAugment（AdA）という手法を提案する。これらの敵対的劣化画像で分類器を訓練することで、CIFAR-10-Cにおける平均劣化誤差（mCE）が7.83%にまで低下し、ImageNetおよびCIFAR-10における$ε$-有界の敵対的摂動に対しても耐性が向上する。

ABSTRACT

Modern neural networks excel at image classification, yet they remain vulnerable to common image corruptions such as blur, speckle noise or fog. Recent methods that focus on this problem, such as AugMix and DeepAugment, introduce defenses that operate in expectation over a distribution of image corruptions. In contrast, the literature on $\ell_p$-norm bounded perturbations focuses on defenses against worst-case corruptions. In this work, we reconcile both approaches by proposing AdversarialAugment, a technique which optimizes the parameters of image-to-image models to generate adversarially corrupted augmented images. We theoretically motivate our method and give sufficient conditions for the consistency of its idealized version as well as that of DeepAugment. Our classifiers improve upon the state-of-the-art on common image corruption benchmarks conducted in expectation on CIFAR-10-C and improve worst-case performance against $\ell_p$-norm bounded perturbations on both CIFAR-10 and ImageNet.

研究の動機と目的

• 一般的な画像劣化に対する耐性と$ε$-有界の敵対的摂動に対する耐性の間のギャップを解消すること。
• 事前に定義された劣化を記憶するのではなく、多様で意味的に一貫性のある劣化を生成することで、一般化性能を向上させること。
• 分布的耐性（例：AugMix）と最悪ケース耐性（例：敵対的訓練）を、画像対画像モデルの敵対的最適化によって統合すること。
• AdAおよびDeepAugmentの理論的整合性保証とPAC-Bayesian一般化境界を提供すること。
• 一般的な劣化ベンチマークおよび敵対的耐性ベンチマークの両方で最先端の性能を示すこと。

提案手法

• AdversarialAugment（AdA）は、事前学習済みの画像対画像モデル（例：VQ-VAE、EDSR、CAE）の重みを最適化し、意味を保ちつつ敵対的な劣化を生成する。
• 本手法は、入力画像の分類器損失を最大化するように画像対画像モデルのパラメータを最適化することで敵対的訓練を実行するが、知覚的類似性に制約を課す。
• 微分可能で、微分可能な画像対画像モデルを用いて、意味的に意味のある敵対的劣化を生成する。
• AdAは、分布的耐性と最悪ケース耐性の両方の強みを活かすために、AugMix や DeepAugment などの既存手法と組み合わせて使用される。
• 理論的分析により、AdAおよびDeepAugmentの整合性を満たす十分条件が得られ、Neyshaburら（2017）の結果に基づいてPAC-Bayesian一般化境界が導出される。
• 本手法は、複数のアーキテクチャ（VQ-VAE、U-Net、EDSR、CAE）に適用され、CIFAR-10-CおよびImageNet-Cにおいて、追加の拡張を施した場合と施さない場合の両方で評価されている。

実験結果

リサーチクエスチョン

• RQ1 画像対画像モデルの敵対的最適化は、ヒューリスティック的またはランダムな劣化よりも、より効果的で一般化可能なデータ拡張を生成できるか？
• RQ2 AdAをAugMix や DeepAugment などの既存手法と組み合わせることで、一般的な劣化および最悪ケースの敵対的摂動の両方に対する耐性が向上するか？
• RQ3 AdAおよび類似手法の整合性と一般化に対して、どのような理論的保証を提供できるか？
• RQ4 AdAは、知覚的敵対的訓練（PAT）や他の最先端手法と比較して、多様な劣化タイプにおいて耐性性能に優れているか？
• RQ5 異なる画像対画像モデルアーキテクチャ（例：EDSR と CAE）は、生成される敵対的劣化の質と一般化性能にどの程度影響を与えるか？

主な発見

• AdAをAugMixおよびDeepAugmentと組み合わせた場合、CIFAR-10-Cにおける平均劣化誤差（mCE）は7.83%にまで低下し、以前の最先端手法（DeepAugment：8.11%、AugMix：10.90%）を上回る。
• ImageNet-Cでは、AdAを4つのモデル（VQ-VAE、U-Net、EDSR、CAE）と組み合わせた場合、AugMixと組み合わせるとmCEが72.27%、AugMixおよびDeepAugmentの両方と組み合わせると62.90%にまで低下する。
• AdAはImageNetにおける最悪ケース耐性を顕著に向上させ、PAT（23.51% mCE）を上回り、DeepAugmentやAugMix単体よりも優れた性能を示す。
• 本手法は劣化タイプにわたって良好に一般化され、特に複数の画像対画像モデルを組み合わせた場合、ぼかし、霧、雪、JPEGアーチファクトの各劣化に対して一貫した改善が得られる。
• EDSRバックボーンを用いたAdAは、CIFAR-10-CでmCEが7.83%と最低を記録し、敵対的劣化における高周波成分の保持が有効であることを示している。
• 理論的分析により、理想的な設定下でAdAおよびDeepAugmentの整合性が確認され、PAC-Bayesian境界が一般化性能を支持している。