[論文レビュー] Adv-BNN: Improved Adversarial Defense through Robust Bayesian Neural Network

Xuanqing Liu, Yao Li+2 more|arXiv (Cornell University)|Oct 1, 2018

Adversarial Robustness in Machine Learning参考文献 13被引用数 89

ひとこと要約

Adv-BNN は敵対的トレーニングとベイズニューラルネットワークを、重みを確率的にし、堅牢な ELBO を最適化することで組み合わせ、CIFAR-10、STL-10、ImageNet-143 のサブセットで強力なホワイトボックスPGD攻撃に対する堅牢性を向上させる。

ABSTRACT

We present a new algorithm to train a robust neural network against adversarial attacks. Our algorithm is motivated by the following two ideas. First, although recent work has demonstrated that fusing randomness can improve the robustness of neural networks (Liu 2017), we noticed that adding noise blindly to all the layers is not the optimal way to incorporate randomness. Instead, we model randomness under the framework of Bayesian Neural Network (BNN) to formally learn the posterior distribution of models in a scalable way. Second, we formulate the mini-max problem in BNN to learn the best model distribution under adversarial attacks, leading to an adversarial-trained Bayesian neural net. Experiment results demonstrate that the proposed algorithm achieves state-of-the-art performance under strong attacks. On CIFAR-10 with VGG network, our model leads to 14\% accuracy improvement compared with adversarial training (Madry 2017) and random self-ensemble (Liu 2017) under PGD attack with $0.035$ distortion, and the gap becomes even larger on a subset of ImageNet.

研究の動機と目的

• ランダム性を敵対的訓練と統合することにより、堅牢なニューラルネットワークを動機づける。
• ベイズ神経ネットワーク (BNN) フレームワーク内でミニマックス堅牢最適化を定式化する。
• 重みの変分後方分布を用いたスケーラブルな訓練手法を Bayes by Backprop で開発する。
• 複数のデータセットに対して強力なホワイトボックス敵対的攻撃に対する堅牢性の改善を実証する。

提案手法

• すべてのネットワーク重みを、完全に因子化されたガウス後方分布 q(w|μ, s) を用いて確率的にモデル化する。
• 正則化のための閉じた形の KL 発散を得るため、ガウス prior p(w) を用いる。
• γノルム球内の敵対的に摂動された入力に対して最大化する堅牢な目的関数を定義する: min_adv_x ∥x_adv - x∥≤γ E_{w~q}[log p(y|x_adv, w)].
• Bayes by Backprop と再パラメータ化 w = μ + exp(s) ⊙ ε を用いて、無偏勾配推定を得るために目的関数を近似する。
• (μ, s) への SGD 更新と、PGD による敵対的サンプル生成を交互に行うことで訓練する。
• KL 項に簡略化したスケール因子 α を追加して、異なるデータセットサイズやモデルスケールに対する正則化を調整する。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練とベイズ神経ネットワークを組み合わせることで、個別に行われる敵対訓練や確率的防御を超える堅牢性の向上が得られるか。
• RQ2 Adv-BNN は異なるデータセットとモデル規模において、強力なホワイトボックスPGD攻撃の下でどのように性能を示すか。
• RQ3 実務での重みに基づくランダム性が、堅牢性と予測性能に与える影響は何か。

主な発見

データ	防御	0	0.015	0.035	0.055	0.07
CIFAR10	Adv. Training	80.3	58.3	31.1	15.5	10.3
CIFAR10	Adv-BNN	79.7	68.7	45.4	26.9	18.6
STL10	Adv. Training	63.2	46.7	27.4	12.8	7.0
STL10	Adv-BNN	59.9	51.8	37.6	27.2	21.1
ImageNet-143	Adv. Training	48.7	37.6	23.0	12.4	7.5
ImageNet-143	Adv-BNN	47.3	43.8	39.3	30.2	24.6

• Adv-BNN は複数のデータセットにおいて、敵対的訓練および Random Self-Ensemble (RSE) よりも堅牢性を向上させる。
• PGD 攻撃下で、同等のひずみレベルに対して CIFAR-10、STL-10、ImageNet-143 で敵対訓練よりも高いテスト精度を示す。
• 堅牢性の向上は顕著であり（例: CIFAR-10 の PGD 0.035 ひずみで、Adv-BNN は標準的な敵対訓練より有意な差で上回る）。
• 重みの不確実性を敵対訓練と組み合わせると、単独使用時よりも大きな堅牢性向上をもたらす（敵対訓練なしのBNN には堅牢性向上は見られない）。
• 手法はパラメータ格納が概ね2倍（平均と分散）、訓練時間のオーバーヘッドは控えめで、既存アーキテクチャに対しては層を分散対応へ置換するだけで適用が容易。