[論文レビュー] Jacobian Adversarially Regularized Networks for Robustness

Alvin Chan, Yi Tay+2 more|PolyPublie (École Polytechnique de Montréal)|Dec 21, 2019

Adversarial Robustness in Machine Learning参考文献 33被引用数 8

ひとこと要約

本論文は、入力画像に類似する顕著なヤコビ行列を生成するように分類器を訓練することにより、敵対的ロバストネスを向上させる、ヤコビアン敵対的正則化ネットワーク（JARN）を提案する。敵対的正則化を通じて、識別器を用いてヤコビ行列が実際の画像に類似するように制御することで、敵対的訓練例に依存せずにMNIST、SVHN、CIFAR-10でより高いロバスト正答率を達成し、敵対的訓練と組み合わせることで追加のロバストネスを提供する。

ABSTRACT

Adversarial examples are crafted with imperceptible perturbations with the intent to fool neural networks. Against such attacks, adversarial training and its variants stand as the strongest defense to date. Previous studies have pointed out that robust models that have undergone adversarial training tend to produce more salient and interpretable Jacobian matrices than their non-robust counterparts. A natural question is whether a model trained with an objective to produce salient Jacobian can result in better robustness. This paper answers this question with affirmative empirical results. We propose Jacobian Adversarially Regularized Networks (JARN) as a method to optimize the saliency of a classifier's Jacobian by adversarially regularizing the model's Jacobian to resemble natural training images. Image classifiers trained with JARN show improved robust accuracy compared to standard models on the MNIST, SVHN and CIFAR-10 datasets, uncovering a new angle to boost robustness without using adversarial training examples.

研究の動機と目的

• 分類器の入力ヤコビアン行列の顕著性を向上させることで、敵対的ロバストネスが向上するかどうかを調査すること。
• 敵対的訓練例を必要としない防御機構を開発し、ロバストネスへの新たな道筋を提供すること。
• 敵対的訓練の副産物として生じるヤコビアンの顕著性が、主な訓練目的として活用可能かどうかを検討すること。
• 複数のデータセットおよび防御設定において、提案手法のロバストネスと効率性を評価すること。

提案手法

• JARNは、分類器の入力ヤコビアンが元の入力画像に類似するように促す敵対的正則化損失を導入する。
• 識別器ネットワークを訓練し、実際の入力画像と分類器の対応するヤコビアン行列を区別する。
• 分類器は識別器にヤコビアンを実際の画像と誤認させることを最適化することで、顕著で構造的なヤコビアン出力を促進する。
• 標準的な経験的リスク最小化を用いて、交差エントロピー損失と敵対的正則化損失の組み合わせにより、エンドツーエンドで訓練する。
• 正則化項はハイパーパrameter λ_adv によって重み付けされ、ヤコビアンと入力画像の一致強度を制御する。
• 本手法は標準的および敵対的訓練と互換性があり、追加のロバストネス向上を可能にする。

実験結果

リサーチクエスチョン

• RQ1 分類器の入力ヤコビアン行列の顕著性を向上させることで、敵対的ロバストネスが向上するか？
• RQ2 ヤコビアンの顕著性が、敵対的訓練例に依存せずにロバストネスの主な訓練目的として有効かどうか？
• RQ3 提案された敵対的正則化フレームワークは、訓練の安定性を高め、複数のデータセットに一般化可能か？
• RQ4 標準的な敵対的訓練手法と比較して、JARNのロバストネスと効率性はどの程度か？
• RQ5 JARNのロバストネスは勾配マスキングに起因するのか、それとも転送攻撃に対して真正のロバストネスを示すのか？

主な発見

• JARNは、敵対的訓練例を一切使用せずに、MNIST、SVHN、CIFAR-10で標準モデルよりも高いロバスト正答率を達成した。
• FGSM敵対的訓練と組み合わせたJARN-AT1は、競争力のあるロバストネスを示し、一部のケースでは標準のPGD-AT7を上回った。
• JARNは7ステップPGD敵対的訓練の半分未満の時間で訓練が可能で、CIFAR-10では1エポックあたり217秒（PGD-AT7の704秒と比較）であった。
• JARNモデルのヤコビアン行列は視覚的に顕著であり、特に広い画像領域をカバーする点で、標準モデルのものよりも元の画像に類似していた。
• JARNはブラックボックス転送攻撃に対してもロバストであり、ホワイトボックス攻撃よりも高い正答率を示した。これは、勾配マスキングに依存していないことを示している。
• JARNの性能はハイパーパrameterの範囲にわたり安定しており、実画像とヤコビアンのペアによる訓練スキームのおかげで、訓練ダイナミクスが安定していると考えられる。