[論文レビュー] Regional Adversarial Training for Better Robust Generalization

Chuanbiao Song, Yanbo Fan+5 more|arXiv (Cornell University)|Sep 2, 2021

Adversarial Robustness in Machine Learning参考文献 33被引用数 5

ひとこと要約

本稿では、アドバーシャル領域内での多様な摂動点のサンプリングと、空間的特性を考慮した距離に依存するラベルスムージングを適用することで、頑健な一般化を向上させる、新たなアドバーシャルトレーニングフレームワークであるRegional Adversarial Training (RAT) を提案する。RATは、標準的なアドバーシャルトレーニングと比較して追加のトレーニングコストなしに、CIFAR-10およびCIFAR-100で最先端の頑健な正確度を達成する。

ABSTRACT

Adversarial training (AT) has been demonstrated as one of the most promising defense methods against various adversarial attacks. To our knowledge, existing AT-based methods usually train with the locally most adversarial perturbed points and treat all the perturbed points equally, which may lead to considerably weaker adversarial robust generalization on test data. In this work, we introduce a new adversarial training framework that considers the diversity as well as characteristics of the perturbed points in the vicinity of benign samples. To realize the framework, we propose a Regional Adversarial Training (RAT) defense method that first utilizes the attack path generated by the typical iterative attack method of projected gradient descent (PGD), and constructs an adversarial region based on the attack path. Then, RAT samples diverse perturbed training points efficiently inside this region, and utilizes a distance-aware label smoothing mechanism to capture our intuition that perturbed points at different locations should have different impact on the model performance. Extensive experiments on several benchmark datasets show that RAT consistently makes significant improvement on standard adversarial training (SAT), and exhibits better robust generalization.

研究の動機と目的

• 摂動されたトレーニングポイントの多様性と空間的特性を考慮することで、標準的なアドバーシャルトレーニング（SAT）の弱い頑健な一般化を改善すること。
• ϵボール内でのすべての摂動点を同等に扱うという制限を克服し、特定の攻撃パターンに過剰適合するのを防ぐこと。
• 追加のトレーニングコストなしに、さまざまなPGD攻撃設定および自然画像の汚染に対して頑健性を向上させること。
• 異なるアドバーシャル脅威モデルにわたって安定的で一般化しやすい防御メカニズムを開発すること。
• 誤った勾配（obfuscated gradients）を引き起こさず、回避のアーティファクトではなく真のロバストネスを示していることを保証すること。

提案手法

• PGD攻撃パスに沿った良性サンプル、最初のアドバーシャルポイント、最終アドバーシャルポイントの3点を用いてアドバーシャル領域を構築する。
• アドバーシャル領域ベースのサンプラー（ARS）を用いて、この領域内で多様な摂動されたトレーニングポイントを効率的にサンプリングし、アドバーシャルの方向と大きさのばらつきを促進する。
• 各摂動点が良性サンプルからどれほど離れているかに応じて、ソフトラベルを割り当てる距離に依存するラベルスムージング（DLS）機構を適用し、元の入力に近い点に対してはより高い信頼度を与える。
• ARSとDLSを統合した包括的なアドバーシャルトレーニングフレームワークを構築し、標準的な正確度を維持しながらロバストネスを向上させる。
• 1トレーニングイテレーションあたり1回のPGD攻撃を活用することで、標準的なアドバーシャルトレーニングと比較して追加の計算オーバーヘッドがないことを保証する。
• ソフトラベルが、その摂動点の良性サンプルからの近接度に重み付けされた、真のラベルと一様分布の凸結合として定義されるラベルスムージング関数を設計する。

実験結果

リサーチクエスチョン

• RQ1 アドバーシャル領域内での摂動されたトレーニングポイントの多様性を向上させることで、より良い頑健な一般化が達成できるか？
• RQ2 アドバーシャル領域内での摂動点の空間的位置に応じて異なるソフトラベルを割り当てることで、モデルのロバストネスが向上するか？
• RQ3 RATは、異なるPGD攻撃設定（例：異なる攻撃ステップ数やステップサイズ）において、標準的なアドバーシャルトレーニングと比較してどのように性能を発揮するか？
• RQ4 RATは、既存のアドバーシャルトレーニング手法と比較して、自然画像の汚染に対してより優れた一般化を示すか？
• RQ5 RATは、誤った勾配（obfuscated gradients）を引き起こすか？ これは、真のロバストネスではなく、回避のアーティファクトを示す可能性がある。

主な発見

• RATは、PGDおよびCW∞攻撃の下でCIFAR-10およびCIFAR-100で最先端の頑健な正確度を達成し、標準的なアドバーシャルトレーニングや他のSOTA手法を顕著に上回る。
• CIFAR-10-CおよびCIFAR-100-Cでは、全汚染レベルで最高の平均正確度を達成し、自然な分布シフトに対する優れたロバストネスを示している。
• アブレーションスタディの結果、ARSとDLSを組み合わせることで最も高い性能向上が得られ、ARS単体でもSATよりロバストネスが向上し、DLSが空間的特性をモデル化することでさらなる向上が見られた。
• RATは誤った勾配を示さない。これは、より強い反復的攻撃（例：PGD）が単一ステップ攻撃を上回り、より大きな摂動バジェットでロバストネスが低下することから確認された。
• RATのトレーニング時間はSATとほとんど同一である—CIFAR-10で1000イテレーションの間、SATは41.88分、RATは47.95分—追加のトレーニングコストがないことを確認した。
• RATは標準正確度と頑健な正確度の差が小さく、特定の攻撃パターンへの過剰適合が抑えられ、より良い一般化を示している。