[論文レビュー] Adversarial Examples Detection with Bayesian Neural Network

Yao Li, Tongyi Tang+2 more|arXiv (Cornell University)|May 18, 2021

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

この論文は、BNNの確率的性質を活用して隠れ層出力の分布をモデル化し、分布の乖離を用いて adversarial example を検出する Bayesian neural network (BNN) を用いた BATer を提案する。PGD、FGSM、C&W などの多様な攻撃に対して、MNIST、CIFAR10、ImageNet-Sub で最先端の検出器を上回る性能を示す。

ABSTRACT

In this paper, we propose a new framework to detect adversarial examples motivated by the observations that random components can improve the smoothness of predictors and make it easier to simulate the output distribution of a deep neural network. With these observations, we propose a novel Bayesian adversarial example detector, short for BATer, to improve the performance of adversarial example detection. Specifically, we study the distributional difference of hidden layer output between natural and adversarial examples, and propose to use the randomness of the Bayesian neural network to simulate hidden layer output distribution and leverage the distribution dispersion to detect adversarial examples. The advantage of a Bayesian neural network is that the output is stochastic while a deep neural network without random components does not have such characteristics. Empirical results on several benchmark datasets against popular attacks show that the proposed BATer outperforms the state-of-the-art detectors in adversarial example detection.

研究の動機と目的

• 安全な応用分野における決定的深層ニューラルネットワークの adversarial example に対する脆弱性を解消すること。
• 自然データと adversarial データの隠れ層出力における分布的差異を活用して、adversarial example 検出を向上させること。
• Bayesian neural networks (BNNs) が内蔵する確率的性質を活用し、検出のロバスト性と予測の滑らかさを向上させること。
• グレイボックスおよびホワイトボックス攻撃設定、特にカスタマイズされた強力な攻撃を想定した検出性能を評価すること。
• 同じ検出フレームワーク下で、BNNベースの検出が決定的アプローチに比べてより効果的であることを示すこと。

提案手法

• BATer は Bayesian neural networks (BNNs) を用いて確率的隠れ層出力を生成し、特徴量の分布を確率論的にモデル化する。
• 自然例と adversarial 例の隠れ層出力間の分布的乖離（特に Wasserstein 距離）を、選択された層で計算する。
• 検出に適した主要な隠れ層（インデックス集合 𝒮 を用いて選別）を、分布の発散が顕著に現れる層から選ぶ。
• adversarial 例は自然データと比較して、特に深層部の隠れ層出力において標準偏差が高くなるという事実を活用する。
• 最終層の出力分散を最小化しつつ adversarial 成功を維持するよう設計された、カスタマイズされたホワイトボックス攻撃（Restricted-PGD）を考案し、ロバストネスを評価する。
• 複数回の順方向伝搬における BNN 出力の分散（例：標準偏差）を比較することで検出を実施し、分布的乖離を検出信号として用いる。

Figure 1 : Framework of BATer . $k$ is the total number of hidden layers. $d_{j}$ represents the distribution distance measured from $j$ -th hidden layer. $\mathcal{S}$ is the index set of selected hidden layers.

実験結果

リサーチクエスチョン

• RQ1 Bayesian neural networks の確率的性質を活用して、隠れ層出力の分布をモデル化することで、adversarial example の検出性能が向上するか？
• RQ2 自然データと adversarial データの BNN 隠れ表現における分布的差異が、検出性能をどのように向上させるか？
• RQ3 信頼度が非常に高い adversarial 例（信頼度 10 および 20）に対しても、BATer は強力な検出性能を維持できるか？
• RQ4 隠れ層の分散を操作するカスタマイズされたホワイトボックス攻撃（例：Restricted-PGD）が BATer を回避できるか？また、BATer のロバストネスはどの程度か？
• RQ5 同じ検出フレームワーク下で、BNN ベースの検出フレームワークは決定的アプローチに比べてより効果的か？

主な発見

• BATer は、PGD、FGSM、C&W など複数の攻撃タイプに対して、MNIST、CIFAR10、ImageNet-Sub で最先端の検出手法を上回る性能を示した。
• 信頼度 10 および 20 の高信頼度 adversarial 例に対しても、従来の検出器がしばしば失敗する状況でも、BATer は強力な検出性能を維持した。
• アブレーションスタディの結果、同じ検出パイプライン下で BNN が決定的ネットワークに比べて検出性能を顕著に向上させた。
• カスタマイズされた Restricted-PGD 攻撃により検出性能は低下したが、MNIST や ImageNet-Sub では完全には破壊されず、ロバストネスが示された。
• adversarial 例の隠れ層出力の標準偏差は、自然データと比較して一貫して高く、特に深層部で顕著に顕在され、検出の重要な信号となった。
• 攻撃者が分類器および検出器の完全な知識を持つホワイトボックス環境下でも、検出フレームワークは効果的であり、洗練された攻撃に対して耐性を示した。

Figure 2 : Illustration of Bayesian Neural Network.