[論文レビュー] Evaluating the Robustness of Bayesian Neural Networks Against Different Types of Attacks

Yutian Pang, Sheng Cheng+2 more|arXiv (Cornell University)|Jun 17, 2021

Adversarial Robustness in Machine Learning参考文献 25被引用数 10

ひとこと要約

本稿は、安全上の重要な画像分類タスクにおける多様な adversarial 攻撃および入力摂動に対して、ベイジアンニューラルネットワーク（BNNs）のロバスト性を評価する。BNNs は adversarial 訓練を施さずに、特に PGD 攻撃に対して制限付きホワイトボックス攻撃において、決定的 CNN よりも顕著に高い精度を達成しており、分類器内の確率性そのものが強力なロバスト性向上をもたらすことが示唆され、実世界への導入に適した軽量かつ効果的な防御戦略であることが示される。

ABSTRACT

To evaluate the robustness gain of Bayesian neural networks on image classification tasks, we perform input perturbations, and adversarial attacks to the state-of-the-art Bayesian neural networks, with a benchmark CNN model as reference. The attacks are selected to simulate signal interference and cyberattacks towards CNN-based machine learning systems. The result shows that a Bayesian neural network achieves significantly higher robustness against adversarial attacks generated against a deterministic neural network model, without adversarial training. The Bayesian posterior can act as the safety precursor of ongoing malicious activities. Furthermore, we show that the stochastic classifier after the deterministic CNN extractor has sufficient robustness enhancement rather than a stochastic feature extractor before the stochastic classifier. This advises on utilizing stochastic layers in building decision-making pipelines within a safety-critical domain.

研究の動機と目的

• 安全上の重要な応用分野におけるさまざまな入力摂動および adversarial 攻撃に対して、ベイジアンニューラルネットワーク（BNNs）のロバスト性を評価すること。
• 画像分類タスクにおける、さまざまなベイジアン推論手法（Bayes By Backprop（BBB）、Variational Inference（VI）、Flipout）の性能を比較すること。
• 特徴抽出器における確率性とは対照的に、分類器層でのみ確率性を導入した場合でも、ロバスト性の向上が十分に達成できるかどうかを検証すること。
• adversarial 訓練なしで、ホワイトボックスおよびブラックボックス攻撃に対する BNN の有効性を評価すること。
• 展開済みシステムにおいて、悪意ある活動の兆候としての BNN の事後分布の可能性を調査すること。

提案手法

• 変分推論および再パrameterization 技法（例：Flipout、ローカル再パラメータ化）を用いて重み分布を持つベイジアンニューラルネットワークを採用する。
• 複数のベイジアン推論手法を適用：Bayes By Backprop（BBB）、Variational Inference（VI）、事後分布推定のための Flipout 近似。
• 6 種類の入力摂動（ガウスノイズ、ポissonノイズ、S&Pノイズ、RE、RE Colorful、スペックル）と 5 種類のホワイトボックス攻撃（例：PGD、MIM、SPSA）を $L_\infty$ の脅威モデルを用いて評価する。
• 一般化されたロバスト性を評価するため、転送ベースのブラックボックス攻撃（例：SPSA、MIM）を実施する。
• 2 つの実世界の安全上の重要なデータセットを用いる：GTSRB（ドイツの交通標識認識）および PlanesNet（航空機の衛星画像）。
• 摂動および adversarial 攻撃下でのテスト精度を測定し、BNN のバリエーション間での訓練時間の比較を通じてロバスト性を評価する。

実験結果

リサーチクエスチョン

• RQ1 異なるベイジアン推論手法（BBB、VI、Flipout）は、入力摂動および adversarial 攻撃に対するロバスト性においてどのように比較されるか？
• RQ2 特徴抽出器における確率性とは対照的に、分類器層でのみ確率性を導入した場合でも、十分なロバスト性向上が達成できるか？
• RQ3 adversarial 訓練なしで、ベイジアンニューラルネットワークは制限付きホワイトボックス攻撃に対して顕著なロバスト性向上を達成できるか？
• RQ4 ブラックボックス攻撃（例：SPSA 対 MIM）は BNN に対してどのように作用するか？また、攻撃タイプの違い（例：SPSA 対 MIM）によってロバスト性に差が生じるか？
• RQ5 BNN のベイジアン事後分布は、展開済みシステムで進行中の adversarial 活動を検出するための安全な予兆として機能できるか？

主な発見

• Flipout 推論を用いた F-BNN は、綺麗な GTSRB 入力に対して 97.17% のテスト精度を達成し、決定的 CNN ベースライン（96.28%）および他の BNN バリエーションを上回った。
• PGD 攻撃（$\varepsilon = 0.10$）下で、F-BNN は GTSRB で 80.0% の精度を維持したが、同様の条件下で決定的 CNN は約 60% まで低下した。
• 分類器層でのみ確率性を導入した BNN は、全ネットワークにわたる確率性（F-BNN）と同等のロバスト性を達成しており、訓練時間の増加も最小限に抑えられた。
• BNN は一般的な入力摂動（例：ガウスノイズ、ポissonノイズ）に対しては限定的なロバスト性向上を示した。これは、決定的 CNN がすでに強力なノイズ除去能力を示していたためである。
• GTSRB における SPSA 攻撃（$\varepsilon = 0.10$）は、人間が明確に認識できる大きな摂動を生成し、すべてのモデルで失敗した。これは、制限のない攻撃が BNN 即ち、BNN でさえも凌駒できないことを示している。
• BNN のベイジアン事後分布は、展開済みシステムで adversarial サンプルを検出するための安全な予兆としての可能性を示した。これは、ML システムのサイバーセキュリティ監視における有用性を示唆している。