[論文レビュー] Robustness of Bayesian Neural Networks to Gradient-Based Attacks

Ginevra Carbone, Matthew Wicker+4 more|arXiv (Cornell University)|Feb 11, 2020

Adversarial Robustness in Machine Learning参考文献 40被引用数 27

ひとこと要約

この論文は、データ分布の退化に起因して、大規模データ、過剰パラメータ化された極限において、ベイジアンニューラルネットワーク（BNNs）が勾配に基づく adversarial 攻撃に対して証明可能に頑健になることを示している。理論的分析では、BNNの事後分布平均化の下で損失関数の期待勾配が消えることが示され、MNIST および Fashion-MNIST における実験により、HMC および VI を用いて訓練された BNN が高精度と頑健性を同時に達成しており、通常の決定的ネットワークで見られる精度-頑健性のトレードオフを逆転させることを確認した。

ABSTRACT

Vulnerability to adversarial attacks is one of the principal hurdles to the adoption of deep learning in safety-critical applications. Despite significant efforts, both practical and theoretical, the problem remains open. In this paper, we analyse the geometry of adversarial attacks in the large-data, overparametrized limit for Bayesian Neural Networks (BNNs). We show that, in the limit, vulnerability to gradient-based attacks arises as a result of degeneracy in the data distribution, i.e., when the data lies on a lower-dimensional submanifold of the ambient space. As a direct consequence, we demonstrate that in the limit BNN posteriors are robust to gradient-based adversarial attacks. Experimental results on the MNIST and Fashion MNIST datasets with BNNs trained with Hamiltonian Monte Carlo and Variational Inference support this line of argument, showing that BNNs can display both high accuracy and robustness to gradient based adversarial attacks.

研究の動機と目的

• 大規模データ、過剰パラメータ化された条件下におけるベイジアンニューラルネットワーク（BNNs）の adversarial 頑健性の理論的起源を理解すること。
• 決定的ディープラーニングモデルで観察されるよく知られた精度-頑健性のトレードオフが、HMC や VI を用いて訓練された BNN においても同様に存在するかを調査すること。
• 低次元のデータ多様体に関連する幾何的説明を提示し、BNN が事後分布平均化によってその脆弱性を軽減する仕組みを明らかにすること。
• MNIST および Fashion-MNIST データセットを用いて HMC および変分推論（VI）を用いて理論的主張を実証的に検証すること。
• 標準的な勾配に基づく攻撃（例：FGSM や PGD）に対する BNN の実用的意味を検討し、モデル容量および推論手法の役割を評価すること。

提案手法

• 大規模データ、過剰パラメータ化された極限における理論的分析を行い、データ分布の幾何構造とその低次元部分多様体への支持を焦点とする。
• 本論文では、この極限において、入力データに関して損失関数の勾配の事後分布平均が消えることを証明しており、勾配に基づく攻撃に対する免疫を示唆している。
• 決定的ネットワークにおける adversarial 脆弱性の原因を、具体的にはデータが低次元多様体上に存在する場合の退化（degeneracy）に結びつける。
• MNIST および Fashion-MNIST に対して、ハミルトニアン・モンテカルロ（HMC）および変分推論（VI）を用いて BNN の事後分布を近似する。
• オリジナル入力と adversarial 入力のソフトマックス出力の L-infinity 範囲の差を用いて頑健性を定量化し、誤分類のなめらかな代理指標として用いる。
• 数千の BNN を、さまざまなアーキテクチャと推論手法で評価する大規模な実験を行い、精度と頑健性の相関関係を分析した。

実験結果

リサーチクエスチョン

• RQ1 なぜ大規模データの極限において、ベイジアンニューラルネットワークは勾配に基づく adversarial 攻撃に対して頑健なのか？
• RQ2 BNN の事後分布平均化により、損失関数の期待勾配が消えるのか？ その結果、勾配に基づく攻撃が無効化されるのか？
• RQ3 決定的ネットワークで観察される精度-頑健性のトレードオフは、HMC や VI を用いて訓練された BNN に対しても同様に見られるのか？
• RQ4 モデルの幅と推論手法（HMC 対 VI）が、有限データの状況下における BNN の頑健性にどのように影響するのか？
• RQ5 データ多様体の幾何的構造が、決定的ネットワークにおける adversarial 脆弱性の発生と BNN におけるその緩和を説明できるか？

主な発見

• 大規模データ、過剰パラメータ化された極限において、BNN 事後分布における損失関数の期待勾配が消えるため、勾配に基づく adversarial 攻撃に対して理論的免疫が得られる。
• MNIST および Fashion-MNIST における実験により、HMC で訓練された BNN では、精度と頑健性の間に正の相関が認められ、通常の精度-頑健性のトレードオフが逆転した。
• HMC で訓練された BNN では、モデルの幅が広がるにつれて頑健性が向上し、過剰パラメータ化が頑健性を高めるという理論的主張を裏付ける。
• 変分推論（VI）で訓練された BNN では、HMC に比べて頑健性が低下しており、精度-頑健性の相関関係も一貫性に欠ける。これは近似誤差やモード崩壊の可能性による。
• BNN における勾配の大きさは、より多くの事後分布サンプルをとるに従って減少し、理論的主張である勾配抑制の実証的裏付けとなった。
• 標準的な勾配に基づく攻撃（FGSM および PGD）は、HMC で訓練された BNN に対しては効果を発揮せず、実用的頑健性を確認した。