[論文レビュー] Boosting Adversarial Training with Hypersphere Embedding

Tianyu Pang, Xiao Yang+4 more|arXiv (Cornell University)|Feb 20, 2020

Adversarial Robustness in Machine Learning参考文献 89被引用数 67

ひとこと要約

本論文は hypersphere embedding を敵対的訓練フレームワークに統合し、特徴をコンパクトな多様体へ正則化して、CIFAR-10 と ImageNet における堅牢性を最小限の追加計算で改善します。これを PGD-AT、ALP、TRADES、FreeAT、FastAT で達成します。

ABSTRACT

Adversarial training (AT) is one of the most effective defenses against adversarial attacks for deep learning models. In this work, we advocate incorporating the hypersphere embedding (HE) mechanism into the AT procedure by regularizing the features onto compact manifolds, which constitutes a lightweight yet effective module to blend in the strength of representation learning. Our extensive analyses reveal that AT and HE are well coupled to benefit the robustness of the adversarially trained models from several aspects. We validate the effectiveness and adaptability of HE by embedding it into the popular AT frameworks including PGD-AT, ALP, and TRADES, as well as the FreeAT and FastAT strategies. In the experiments, we evaluate our methods under a wide range of adversarial attacks on the CIFAR-10 and ImageNet datasets, which verifies that integrating HE can consistently enhance the model robustness for each AT framework with little extra computation.

研究の動機と目的

• 敵対的訓練内に軽量な hypersphere embedding (HE) 機構を動機づけ実装して堅牢性を向上させる。
• FN (feature normalization) 、WN (weight normalization) 、AM (angular margin) が AT とどのように相互作用して堅牢性と訓練効率を高めるかを分析する。
• HE を PGD-AT、ALP、TRADES に組み込み、さらに二つの加速戦略 (FreeAT、FastAT) との互換性と効果を実証する。
• CIFAR-10 と ImageNet で広範な対敵攻撃およびデータ汚染に対する堅牢性を評価する。

提案手法

• 特徴と重みを正規化し、HE を用いてトレーニングおよび対敵目標関数において角度マージンを適用する。
• ネットワーク出力を cos ベースの角度指標に変換するよう HE の定義を用い、softened output にバイアス項を持たない（(x) に bias なし）。
• HE を三つの代表的な AT フレームワーク（PGD-AT、ALP、TRADES）と二つの加速戦略（FreeAT、FastAT）に組み込む。
• FN を活用して hard examples に学習をフォーカスし、対敵摂動をより効率的に促進する。
• AM を適用して角度指標下のクラス間分散を高め、堅牢性を向上させる。
• 強力な対敵をより有効に活用するよう、S(cos theta) を S(-theta) に置き換えた修正版 HE (m-HE) を提供する。

実験結果

リサーチクエスチョン

• RQ1 HE を敵対的訓練（AT）に組み込むと、複数の AT フレームワーク間で堅牢性は一貫して向上するか？
• RQ2 特徴正規化、重み正規化、角度マージンは AT の動作にどのように影響し、堅牢性と訓練効率を高めるか？
• RQ3 HE のアプローチは FreeAT や FastAT のような加速戦略と substantial な計算オーバーヘッドなしに互換性があるか？
• RQ4 HE は CIFAR-10 および ImageNet における様々な対敵攻撃およびデータ汚染に対して堅牢性を改善するか？
• RQ5 修正版 HE (m-HE) は AT 設定で強力な対敵をより良く活用できるか？

主な発見

• HE は HE と組み合わせた場合、PGD-AT、ALP、TRADES の堅牢性を一貫して向上させる。
• HE と AT は相互に有益で、追加の計算をほとんど要せず対敵堅牢性を高める。
• FN と WN は hard examples に学習を集中させ、サイズバイアスのある重み更新を低減して訓練を安定化させる；AM はクラス間マージンを拡大して堅牢性をさらに高める。
• HE は white-box および black-box 攻撃下での性能向上と、加速AT手法（FreeAT および FastAT）での堅牢性向上に貢献する。
• m-HE はいくつかの AT 設定で強力な対敵をより効果的に活用できる可能性がある。
• CIFAR-10 および ImageNet の実験は、様々な攻撃および汚染に対する堅牢性と耐性の改善を示す。