[論文レビュー] Boosting the Certified Robustness of L-infinity Distance Nets

Bohang Zhang, Jiang Du+2 more|arXiv (Cornell University)|Oct 13, 2021

Adversarial Robustness in Machine Learning参考文献 59被引用数 6

ひとこと要約

本稿では、ℓ∞-距離ネットワーク（ℓ∞-ノルムの摂動に対して inherently 1-Lipschitz であり、したがって自然に証明可能に頑健なニューラルネットワーク）の認証可能ロバスト性を顕著に向上させる、新しいトレーニング戦略を提案する。スケーリングされた交差エントロピーとクリッピングされたヘッジ損失を組み合わせたハイブリッド損失関数に、徐々に減少する混合係数を導入することで、従来の ℓp-緩和手法に起因する最適化の問題を克服し、CIFAR-10（ε=8/255）で40.06%の認証可能精度を達成した。これは、従来の最先端手法を著しく上回る結果である。

ABSTRACT

Recently, Zhang et al. (2021) developed a new neural network architecture based on $\ell_\infty$-distance functions, which naturally possesses certified $\ell_\infty$ robustness by its construction. Despite the novel design and theoretical foundation, so far the model only achieved comparable performance to conventional networks. In this paper, we make the following two contributions: $\mathrm{(i)}$ We demonstrate that $\ell_\infty$-distance nets enjoy a fundamental advantage in certified robustness over conventional networks (under typical certification approaches); $\mathrm{(ii)}$ With an improved training process we are able to significantly boost the certified accuracy of $\ell_\infty$-distance nets. Our training approach largely alleviates the optimization problem that arose in the previous training scheme, in particular, the unexpected large Lipschitz constant due to the use of a crucial trick called $\ell_p$-relaxation. The core of our training approach is a novel objective function that combines scaled cross-entropy loss and clipped hinge loss with a decaying mixing coefficient. Experiments show that using the proposed training strategy, the certified accuracy of $\ell_\infty$-distance net can be dramatically improved from 33.30% to 40.06% on CIFAR-10 ($ε=8/255$), meanwhile outperforming other approaches in this area by a large margin. Our results clearly demonstrate the effectiveness and potential of $\ell_\infty$-distance net for certified robustness. Codes are available at https://github.com/zbh2047/L_inf-dist-net-v2.

研究の動機と目的

• ℓ∞-距離ネットワークの理論的利点にもかかわらず、認証可能ロバスト性が最適でないという問題に取り組む。
• 従来のトレーニング手法における最適化の失敗、特に ℓp-緩和に起因するLipschitz定数の意図しない増加を同定・解決する。
• 追加のMLPヘッドを用いず、ℓ∞-距離ネットワークそのものだけで、最先端の認証可能ロバスト性を達成できることを示す。
• ネットワークの内在的1-Lipschitz性を保ちつつ、ロバスト精度を最大化する理論的根拠に基づいた効果的で実用的なトレーニング目的関数を確立する。

提案手法

• スケーリングされた交差エントロピーと修正済みクリッピングヘッジ損失を組み合わせたハイブリッド損失関数を提案し、トレーニングの過程でロバスト性と精度のバランスを取るために、徐々に減少する混合係数を導入する。
• 従来の研究で用いられた ℓp-緩和トリックの代わりに、非緩和で微分可能である新しい定式化を採用し、ネットワークのLipschitz定数の増大を回避する。
• 出力マージンを直接最大化するように損失関数を設計することで、マージンに基づく認証が可能になるようにし、同時にネットワークの1-Lipschitz性を維持する。
• 新しい目的関数に従って ℓ∞-距離ネットワークをエンドツーエンドでトレーニングし、前方伝搬のみでモデルが本質的に認証可能に頑健であることを保証する。
• 完全結合層アーキテクチャを ℓ∞-距離ネットワークに採用し、認証の簡潔さと効率性を保つために、追加のMLPヘッドの必要性を排除する。
• CIFAR-10（ε=8/255）で本手法を検証し、従来の最先端手法と比較して認証可能精度を評価する。

実験結果

リサーチクエスチョン

• RQ1 追加のMLPヘッドや複雑なアーキテクチャに依存せずに、ℓ∞-距離ネットワークは最先端の認証可能ロバスト性を達成できるか？
• RQ2 なぜ従来の ℓ∞-距離ネットワークのトレーニング手法は、理論的頑健性保証があるにもかかわらず、高い認証可能精度を達成できなかったのか？
• RQ3 従来の研究で用いられた ℓp-緩和トリックは、ネットワークのLipschitz定数を意図せず増大させ、頑健性を損なう要因になっているのか？
• RQ4 交差エントロピーとヘッジ損失を組み合わせたシンプルなハイブリッド損失関数は、ℓ∞-距離ネットワークを高い認証可能精度にまで効果的にトレーニングできるか？
• RQ5 一般的な認証手法において、ℓ∞-距離ネットワークは従来のネットワークに比べて認証可能ロバスト性において根本的な利点を有しているか？

主な発見

• 提案手法により、CIFAR-10（ε=8/255）における ℓ∞-距離ネットワークの認証可能精度が33.30%から40.06%に向上し、従来の手法を著しく上回った。
• 新しい損失関数は、ℓp-緩和に起因するLipschitz定数の過剰な増大を効果的に回避し、ネットワークがロバスト精度を最大にできる能力を回復した。
• 理論的分析により、ℓ∞-距離ネットワークは若干のデータセットの仮定のもとで完全な認証可能ロバスト性を達成可能であることが確認され、強力な表現力を持つことが示された。
• 本手法は、ℓ∞-ノルムの摂動に対する認証可能ロバスト性において、従来のネットワークや既存の認証手法を上回る、新たな最先端の性能を確立した。
• ℓ∞-距離ネットワークそのものだけで高い認証可能精度が達成可能であり、従来の手法で用いられた追加のMLPコンponentsの必要性がなくなった。