[論文レビュー] Towards Certifying L-infinity Robustness using Neural Networks with L-inf-dist Neurons

Bohang Zhang, Tianle Cai+3 more|arXiv (Cornell University)|Feb 10, 2021

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本稿では、ℓ∞-距離をコア演算として用いる新しいニューラルネットワークユニット、ℓ∞-distニューロンを導入する。このユニットは、ℓ∞-ノルムに関して1-Lipschitz連続性を保証するため、予測マージンを用いた直接的かつ証明可能なロバスト性保証が可能となる。これにより得られるℓ∞-distネットは、MNIST（ε=0.3）で93.09%、CIFAR-10（ε=8/255）で35.42%、TinyImageNet（ε=1/255）で16.31%という、最先端の保証精度を達成しており、トレーニングおよび認証の速度は標準的なネットワークと同等である。

ABSTRACT

It is well-known that standard neural networks, even with a high classification accuracy, are vulnerable to small $\\ell_\\infty$-norm bounded adversarial perturbations. Although many attempts have been made, most previous works either can only provide empirical verification of the defense to a particular attack method, or can only develop a certified guarantee of the model robustness in limited scenarios. In this paper, we seek for a new approach to develop a theoretically principled neural network that inherently resists $\\ell_\\infty$ perturbations. In particular, we design a novel neuron that uses $\\ell_\\infty$-distance as its basic operation (which we call $\\ell_\\infty$-dist neuron), and show that any neural network constructed with $\\ell_\\infty$-dist neurons (called $\\ell_{\\infty}$-dist net) is naturally a 1-Lipschitz function with respect to $\\ell_\\infty$-norm. This directly provides a rigorous guarantee of the certified robustness based on the margin of prediction outputs. We then prove that such networks have enough expressive power to approximate any 1-Lipschitz function with robust generalization guarantee. We further provide a holistic training strategy that can greatly alleviate optimization difficulties. Experimental results show that using $\\ell_{\\infty}$-dist nets as basic building blocks, we consistently achieve state-of-the-art performance on commonly used datasets: 93.09% certified accuracy on MNIST ($\\epsilon=0.3$), 35.42% on CIFAR-10 ($\\epsilon=8/255$) and 16.31% on TinyImageNet ($\\epsilon=1/255$).

研究の動機と目的

• ℓ∞-ノルムによる有界な敵対的摂動に対して本質的にロバストなニューラルネットワークアーキテクチャの開発を目的とする。
• 実験的攻撃評価に依存せず、予測マージンに基づく理論的根拠に基づいた保証可能なロバスト性保証を提供することを目的とする。
• スパースな勾配や最適化の不安定性といった課題を克服するため、包括的なトレーニング戦略を用いてℓ∞-distネットのトレーニングを効果的に実現することを目的とする。
• ℓ∞-distネットが任意の1-Lipschitz関数を近似可能であり、ロバストに一般化できることを示すこと

提案手法

• 入力特徴量と学習可能なパラメータの間のℓ∞-距離を計算する新しいニューロン、ℓ∞-distニューロンを設計。線形変換の代わりに使用する。
• ℓ∞-distニューロンから構成される任意のニューラルネットワークが、ℓ∞-ノルムに関して1-Lipschitzであることを証明。これにより、マージンに基づく保証可能なロバスト性が直接可能となる。
• Lipschitz普遍近似定理を確立。ℓ∞-distネットが任意の1-Lipschitz関数を任意の精度で近似可能であることを示す。
• アイデンティティマップ初期化、ℓp-ノルム正則化、正規化、滑らかな勾配近似を含む包括的なトレーニング戦略を提案。これにより、スパースな勾配や最適化の不安定性に対処する。
• ℓ∞-distネットをロバストな特徴抽出器として用い、標準的なMLPヘッドと組み合わせてエンドツーエンドトレーニングと高速な認証を実現。
• ℓ∞-ノルムの微分不能性を緩和するため、滑らかな勾配近似を採用。これにより安定なバックプロパゲーションが可能となる。

実験結果

リサーチクエスチョン

• RQ1 ℓ∞-距離演算に基づくニューラルネットワークアーキテクチャは、ℓ∞-ノルムに関して本質的に1-Lipschitz連続性を満たし、理論的ロバスト性保証が可能か？
• RQ2 ℓ∞-distネットの1-Lipschitz関数近似における表現力はどの程度か。また、ロバストに一般化可能か？
• RQ3 スパースな勾配や不安定なトレーニングといった最適化の課題は、どのように効果的に克服できるか？
• RQ4 MNIST、CIFAR-10、TinyImageNetといった標準ベンチマークで、ℓ∞-distネットは最先端の保証ロバスト性を達成できるか？
• RQ5 提案されたトレーニング戦略は、既存の保証ロバストトレーニング手法と比較して、効率性と性能の面で優れているか？

主な発見

• MNIST（ε=0.3）において、ℓ∞-distネットは93.09%の保証精度を達成。IBP や CROWN-IBP といった先行手法を上回る。
• CIFAR-10（ε=8/255）において、35.42%の保証精度を達成。IBP より6.23%、前回の最良手法より2.04%高い。
• TinyImageNet（ε=1/255）において、16.31%の保証精度を達成。5.22G FLOPsの大幅に大きなモデルでさえも上回る。
• 単一のNVIDIA A100で1エポックあたりのトレーニング時間は20秒未満であり、CROWN-IBP（112.4秒）に比べて顕著に高速で、IBPと同等の速度である。
• アブレーションスタディにより、滑らかな勾配近似とアイデンティティマップ初期化が不可欠であることが確認。前者のみを用いると32.56%の保証精度、両者を組み合わせると35.02%に向上。
• 従来のℓ2正則化は性能を低下させるが、ℓp-ノルム正則化（p=1または2）はわずかに改善をもたらす。これは、アーキテクチャ固有の正則化の必要性を示唆している。