[論文レビュー] Consistency Regularization for Adversarial Robustness

Jihoon Tack, Sihyun Yu+4 more|arXiv (Cornell University)|Mar 8, 2021

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本論文は、同一入力の2つの異なる増幅から得られる adversarial 例の予測類似性を強制することで、敵対的ロバストネスを向上させる一貫性正則化技術を提案する。データ増幅を活用し、攻撃方向の一貫性を保つことで、ロバストオーバーフィッティングを顕著に低減し、CIFAR-10 において最大 6.74 パcent 点のロバスト精度向上を達成するとともに、未観測の敵対的攻撃に対しても一般化性能を向上させる。

ABSTRACT

Adversarial training (AT) is currently one of the most successful methods to obtain the adversarial robustness of deep neural networks. However, the phenomenon of robust overfitting, i.e., the robustness starts to decrease significantly during AT, has been problematic, not only making practitioners consider a bag of tricks for a successful training, e.g., early stopping, but also incurring a significant generalization gap in the robustness. In this paper, we propose an effective regularization technique that prevents robust overfitting by optimizing an auxiliary `consistency' regularization loss during AT. Specifically, we discover that data augmentation is a quite effective tool to mitigate the overfitting in AT, and develop a regularization that forces the predictive distributions after attacking from two different augmentations of the same instance to be similar with each other. Our experimental results demonstrate that such a simple regularization technique brings significant improvements in the test robust accuracy of a wide range of AT methods. More remarkably, we also show that our method could significantly help the model to generalize its robustness against unseen adversaries, e.g., other types or larger perturbations compared to those used during training. Code is available at https://github.com/alinlab/consistency-adversarial.

研究の動機と目的

• 敵対的訓練におけるロバストオーバーフィッティングを解消すること。これは、最適化が進んでもモデルのロバストネスが低下する現象である。
• 訓練集合とテスト集合の間の敵対的ロバストネスの一般化ギャップを低減すること。
• 訓練中に観測されなかった敵対的攻撃、例えばより大きな摂動や異なる攻撃タイプに対してロバストネスを向上させること。
• 既存の敵対的訓練フレームワークと互換性がある、簡単で即時適用可能な正則化手法を開発すること。
• データ増幅と一貫性正則化を組み合わせることで、ロバストネスに有用なインダクティブバイアスが注入されることを実証すること。

提案手法

• 本手法は、同一入力を2つの異なる増幅に変換する（特に AutoAugment を使用）。
• 各増幅された入力に対して、指定された摂動予算をもつ PGD 攻撃を用いて adversarial 例を生成する。
• 2つの adversarial 例におけるモデルの予測分布の KL 発散を最小化する一貫性正則化損失を導入する。
• 損失関数は、同一サンプルの異なる増幅から得られた adversarial 例に対して、類似した予測を出力するようモデルを促進する。
• 標準的な敵対的訓練損失と併用されるため、任意の AT メソッドと互換性がある。
• 攻撃方向が「ダーク・ナレッジ」（クリーンな入力に対して最も混乱を引き起こすクラス）をエンコードしていることが示され、攻撃方向の一貫性が有用であることがわかる。

実験結果

リサーチクエスチョン

• RQ1 敵対的摂動を加えた増幅例間での一貫性正則化は、敵対的訓練におけるロバストオーバーフィッティングを低減できるか？
• RQ2 異なる増幅に対して予測の一貫性を強制することで、未観測の敵対的攻撃に対する一般化性能が向上するか？
• RQ3 一貫性正則化と組み合わせたデータ増幅は、ロバストオーバーフィッティングの低減にどの程度効果的か？
• RQ4 一貫性正則化は、汚染に対するロバストネス（例：CIFAR-10-C）にどのような影響を与えるか？
• RQ5 本手法は、アーキテクチャの変更なしに、さまざまな AT フレームワークに効果的に適用可能か？

主な発見

• 本手法により、CIFAR-10 における標準的敵対的訓練のロバスト精度が、PGD-100 攻撃（ε=8/255）で 44.86% から 56.38% に向上した。
• CIFAR-100 においては、同じ攻撃設定でロバスト精度が 29.74% から 37.81% に向上した。
• CIFAR-10 では平均汚染誤差（mCE）を 24.03% から 22.06% に低減し、分布シフトに対するロバストネスが向上した。
• 低データ環境（訓練データの 10%）でも、ロバスト精度が 41.2% を達成し、AWP（34.7%）を上回り、データ効率性を示した。
• より大きな摂動や異なる脅威モデルを想定した未観測の敵対的攻撃に対しても、一般化性能が向上した。
• 誤分類された adversarial 例の 77.45% が、最も混乱を引き起こすクラスを予測しており、攻撃方向が意味のある「ダーク・ナレッジ」をエンコードしていることが裏付けられた。