[論文レビュー] Sufficient Conditions for Idealised Models to Have No Adversarial Examples: a Theoretical and Empirical Study with Bayesian Neural Networks

Yarin Gal, Lewis Smith|arXiv (Cornell University)|Jun 2, 2018

Adversarial Robustness in Machine Learning参考文献 11被引用数 26

ひとこと要約

この論文は、2つの十分条件—正確なエピステミック不確実性と適切な密度推定—を満たす理想化されたベイジアンニューラルネットワーク（BNN）が、入力密度にかかわらず adversarial examples を持たないことを証明している。合成MNISTに類似したデータに対してハミルトニアンモンテカルロ（HMC）推論を用いて、著者らは高いエピステミック不確実性が低いデータ密度と相関することを示し、adversarial examples がデータ多様体の外にあることから、MCドロップアウトが頑健な防御となる理由を説明している。

ABSTRACT

We prove, under two sufficient conditions, that idealised models can have no adversarial examples. We discuss which idealised models satisfy our conditions, and show that idealised Bayesian neural networks (BNNs) satisfy these. We continue by studying near-idealised BNNs using HMC inference, demonstrating the theoretical ideas in practice. We experiment with HMC on synthetic data derived from MNIST for which we know the ground-truth image density, showing that near-perfect epistemic uncertainty correlates to density under image manifold, and that adversarial images lie off the manifold in our setting. This suggests why MC dropout, which can be seen as performing approximate inference, has been observed to be an effective defence against adversarial examples in practice; We highlight failure-cases of non-idealised BNNs relying on dropout, suggesting a new attack for dropout models and a new defence as well. Lastly, we demonstrate the defence on a cats-vs-dogs image classification task with a VGG13 variant.

研究の動機と目的

• 理想化されたモデルがadversarial examplesに対して証明可能に頑健であるための十分条件を同定すること。
• MCドロップアウトが近似的な推論であるにもかかわらず、なぜadversarial examples検出において実証的に成功しているのかを調査すること。
• 特に「不確実性ホール」と呼ばれるエピステミック不確実性推定における欠陥を含む、実用的BNNの限界を明らかにすること。
• これらの不確実性ホールを標的とする勾配フリー攻撃を提案し、アンサンブル手法による緩和策を提示すること。
• VGG13の変種を用いて猫対犬データで理論的知見を現実世界の画像分類タスクで検証すること。

提案手法

• adversarial robustnessのための2つの十分条件を形式化する：(1)正確なエピステミック不確実性、(2)正しい入力密度推定。
• ハミルトニアンモンテカルロ（HMC）推論を用いたベイジアンニューラルネットワーク（BNN）により、理想化された正確な事後分布推論を達成する。
• 不確実性と密度の相関をテストするため、既知の真の入力密度を持つMNISTに類似した合成データセットを構築する。
• エピステミック不確実性の「ホール」を特定するため、相互情報量（MI）を不確実性の指標として用いる。
• モデルの信頼度をクエリし、訓練データから遠く離れた点でMIが低い（つまり、低不確実性領域での高信頼度）点を選択する勾配フリー攻撃を設計する。
• ランダムに初期化されたドロップアウトモデルのアンサンブルを用いた緩和策を提案し、コンcreteドロップアウトを用いたVGG13で検証する。

実験結果

リサーチクエスチョン

• RQ1 理想化されたモデルがadversarial examplesを持たないことを保証する十分条件は何か？
• RQ2 BNNにおけるエピステミック不確実性は、入力多様体上のデータ密度とどのように相関するか？
• RQ3 MCドロップアウトは近似的な推論であるにもかかわらず、なぜadversarial examples検出に優れた性能を示すのか？
• RQ4 ドロップアウトベースのモデルにおける不確実性ホールは、勾配計算なしにadversarial examplesの生成に利用可能か？
• RQ5 アンサンブル推論は、単一モデルのドロップアウトと比較して、実用的BNNにおける不確実性のキャリブレーションと頑健性を向上させるか？

主な発見

• 正確なエピステミック不確実性と正しい密度推定を満たす理想化されたBNNは、adversarial examplesを持たない。
• 合成MNISTデータに対するHMC推論によるBNNは、高いエピステミック不確実性と低いデータ密度の強い相関を示し、adversarial examplesはデータ多様体の外にある。
• MCドロップアウトベースのモデルは「不確実性ホール」を示す—訓練データから遠く離れた領域で高信頼度かつ低不確実性となる領域であり、これにより勾配フリー攻撃の標的となり得る。
• ランダムに初期化されたドロップアウトモデルのアンサンブルは不確実性ホールを顕著に低減し、単一モデルと比較して頑健性が向上する。VGG13の猫対犬タスクでAUCが0.63から0.77に向上した。
• 新しい勾配フリー攻撃は、不確実性ホールを標的にして「ゴミ」のようなadversarial画像を効果的に生成でき、制御された環境下でFGMを上回る成功率を示した。
• ドロップアウトアンサンブルは決定論的モデルアンサンブルを上回る不確実性キャリブレーションを示しており、推論における確率的性質が頑健性を向上させることを示唆している。