[論文レビュー] Towards Stable and Efficient Training of Verifiably Robust Neural Networks

Huan Zhang, Hongge Chen+6 more|arXiv (Cornell University)|Jun 14, 2019

Adversarial Robustness in Machine Learning参考文献 51被引用数 128

ひとこと要約

tldr: 私たちは CROWN-IBP を導入します。Interval Bound Propagation (IBP) と CROWN bounds を組み合わせた認定済みロバストトレーニング手法で、効率的でより厳密な検証可能なロバスト性を実現し、ℓ∞摂動下で MNIST および CIFAR-10 に対する従来の IBP および線形緩和ベースラインを上回ります。

ABSTRACT

Training neural networks with verifiable robustness guarantees is challenging. Several existing approaches utilize linear relaxation based neural network output bounds under perturbation, but they can slow down training by a factor of hundreds depending on the underlying network architectures. Meanwhile, interval bound propagation (IBP) based training is efficient and significantly outperforms linear relaxation based methods on many tasks, yet it may suffer from stability issues since the bounds are much looser especially at the beginning of training. In this paper, we propose a new certified adversarial training method, CROWN-IBP, by combining the fast IBP bounds in a forward bounding pass and a tight linear relaxation based bound, CROWN, in a backward bounding pass. CROWN-IBP is computationally efficient and consistently outperforms IBP baselines on training verifiably robust neural networks. We conduct large scale experiments on MNIST and CIFAR datasets, and outperform all previous linear relaxation and bound propagation based certified defenses in $\\ell_\\infty$ robustness. Notably, we achieve 7.02% verified test error on MNIST at $\\epsilon=0.3$, and 66.94% on CIFAR-10 with $\\epsilon=8/255$. Code is available at https://github.com/deepmind/interval-bound-propagation (TensorFlow) and https://github.com/huanzhang12/CROWN-IBP (PyTorch).

研究の動機と目的

• DNN の検証可能なロバスト性の必要性を動機付けるとともに、既存の線形緩和法および IBP 手法の限界を分析する。
• IBP と CROWN の長所を組み合わせてトレーニングの安定性と境界の厳密性を向上させるハイブリッドなトレーニング手法（CROWN-IBP）を提案する。
• ℓ∞ 敵対的摂動下で標準データセット上の検証済みロバスト性をスケーラブルに改善することを示す。
• トレーニング中の標準精度と検証済み精度のトレードオフについて洞察を提供する。

提案手法

• ハイブリッド境界伝播フレームワークを提示する：まず前方 IBP パスで緩いがスケーラブルな境界を取得し、後方の CROWN 風パスで堅牢マージンの境界を引き締める。
• ReLU アクティベーションを適応緩和を用いて線形化し、扱いやすい境界を得る（Eq. 10–11）。
• マージンの組み合わせ下限を計算する：underline m = IBP_bound + beta * CROWN-IBP_bound（式 9）で、緊密さと効率のバランスを取る tunable beta。
• 最後の層から前方へ境界を伝播させ、A 行列の列を用いてネットワークの線形代理を構築する（Eq. 12–13）。
• 小さな出力サイズ nL を活用することで標準的な CROWN/Convex Adversarial Polytope より計算複雑性を改善し、後方コストを O(L n^2 nL) に削減。
• 自然損失と下限ベースのロバスト損失（式 9）を組み合わせた柔軟なトレーニング Objective を許容する。
• epsilon の ramp-up スケジュールや κ（自然搲合とロバスト損失のブレンド）および β（IBP 対 CROWN-IBP の寄与）の調整といった実用的なトレーニング戦略を提供する。

実験結果

リサーチクエスチョン

• RQ1 ニューロンネットワークの検証可能なロバスト性を保証しつつ、効率的でスケーラブルな学習をどのように実現できるか？
• RQ2 IBP と CROWN 風境界を組み合わせることで、全結合の凸緩和の高コストを伴わずに、より厳密な検証可能境界を得られるか？
• RQ3 ハイブリッド境界が標準精度と検証済み精度にどのような影響を与えるか（データセットと摂動レベルごとに）？
• RQ4 CROWN-IBP は純粋な IBP および線形緩和ベースラインと比較して、トレーニングの安定性と検証の厳密さの点でどう違うか？

主な発見

• CROWN-IBP は ℓ∞ 摂動下で MNIST と CIFAR-10 に対する IBP ベースラインより検証済みロバスト性を一貫して向上させる。
• MNIST において、CROWN-IBP は ε=0.3 で検証済み誤差を IBP ベースラインの 8.21% から 7.02% に低減。
• CIFAR-10 において、ε=2/255 で検証済み誤差を 55.88%（IBP）から 46.03% に低減し，より大きな ε で凸緩和法と同等またはそれを上回る。
• CROWN-IBP は IBP ベース法の中で最先端の性能を達成し、MNIST と CIFAR-10 の両方で従来の IBP 結果を上回る。
• CROWN-IBP は IBP のみより tight な境界を実現しつつスケーラビリティを維持し、全線形緩和法で見られる過剰正則化を回避する。
• κ パラメータと境界の結合における β パラメータを介して、標準精度と検証済み精度のトレードオフを提供するメカニズムを提供する。