[論文レビュー] Certified Adversarial Robustness with Additive Gaussian Noise

Bai Li, Changyou Chen+2 more|arXiv (Cornell University)|Sep 10, 2018

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

この論文は、トレーニング中に加法的ガウスノイズを用いることで、深層ニューラルネットワークにおける認証可能な敵対的ロバストネスを達成するスケーラブルなフレームワークを提案する。ロバストネスとノイズ注入を結びつけることで、摂動の大きさに対する理論的保証された境界を提供し、MNIST、CIFAR-10、ImageNetにおいて、最先端の証明可能な防御と比較して競争力のある認証ロバストネスを示している。

ABSTRACT

The existence of adversarial data examples has drawn significant attention in the deep-learning community; such data are seemingly minimally perturbed relative to the original data, but lead to very different outputs from a deep-learning algorithm. Although a significant body of work on developing defensive models has been considered, most such models are heuristic and are often vulnerable to adaptive attacks. Defensive methods that provide theoretical robustness guarantees have been studied intensively, yet most fail to obtain non-trivial robustness when a large-scale model and data are present. To address these limitations, we introduce a framework that is scalable and provides certified bounds on the norm of the input manipulation for constructing adversarial examples. We establish a connection between robustness against adversarial perturbation and additive random noise, and propose a training strategy that can significantly improve the certified bounds. Our evaluation on MNIST, CIFAR-10 and ImageNet suggests that the proposed method is scalable to complicated models and large data sets, while providing competitive robustness to state-of-the-art provable defense methods.

研究の動機と目的

• 大規模なディープラーニングモデルにおける敵対的例に対するスケーラブルで理論的根拠のある防御の欠如に対処すること。
• 適応的攻撃に対して脆弱なヒューリスティックな防御の限界を克服すること。
• 複雑なモデルやデータセットに対しても非自明な認証可能なロバストネス境界を提供するトレーニング戦略を開発すること。
• 敵対的ロバストネスと加法的ランダムノイズの効果の間の理論的接続を確立すること。
• ImageNetのような現実世界のデータセットにスケーラブルな方法で、認証ロバストネス境界を向上させること。

提案手法

• 入力に加法的ガウスノイズを注入することでロバストネスを向上させるトレーニング手順を導入する。
• 敵対的摂動に対するロバストネスと加法的ランダムノイズに対するロバストネスの間の理論的リンクを確立する。
• ノイズの分散に基づいて認証可能なロバストネス境界を導出し、特定の摂動半径内では予測が変わらないことを保証する。
• ランダム化スミoothing技術を用いてロバストネス証明を計算し、ノイズ注入によって認証半径を拡大する。
• 標準的なディープラーニングパイプラインと互換性があるようにトレーニング戦略を設計し、大規模なモデルやデータセットへのスケーラビリティを実現する。
• ノイズ注入分布下で、高い精度を維持しながら認証可能なロバストネス半径を最大化するようにモデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 加法的ガウスノイズを用いて、深層ニューラルネットワークの理論的認証可能なロバストネス境界を導出できるか？
• RQ2 ノイズ注入は、大規模なモデルやデータセットにおける認証可能なロバストネス半径にどのように影響するか？
• RQ3 この手法は、ImageNetのような複雑なモデルやデータセットに対しても、競争力のあるロバストネス保証を維持しながらスケーリング可能か？
• RQ4 既存の証明可能な防御手法と比較して、この手法の認証ロバストネスと精度はどのように異なるか？
• RQ5 注入されたノイズの分散と得られる敵対的ロバストネスの間にはどのような関係があるか？

主な発見

• 提案手法は、大規模なモデルを用いても、MNIST、CIFAR-10、ImageNetで非自明な認証可能なロバストネスを達成している。
• フレームワークは、最先端の証明可能な防御手法と同等の理論的保証されたロバストネス境界を提供している。
• この手法はImageNetに対しても効果的にスケーリングされ、高次元で現実世界の設定でも認証可能なロバストネスが実現可能であることを示している。
• ノイズ注入をトレーニング段階で行うことで、そのような正則化を施さないベースライン手法と比較して、認証半径が顕著に向上している。
• 高いクリーン精度を維持しながら強力なロバストネスを達成しており、精度とロバストネスの間の良好なトレードオフを示している。
• ノイズロバストネスと敵対的ロバストネスの理論的関係のおかげで、最小限のアーキテクチャ変更で実用的な認証が可能になっている。