[論文レビュー] On the Effectiveness of Interval Bound Propagation for Training Verifiably Robust Models

Sven Gowal, Krishnamurthy Dvijotham+7 more|arXiv (Cornell University)|Oct 30, 2018

Adversarial Robustness in Machine Learning参考文献 35被引用数 300

ひとこと要約

本論文は、区間境界伝播（IBP）を用いて大規模で検証可能に堅牢なニューラルネットワークを効率的に訓練できることを示し、MNIST、CIFAR-10、SVHNで最先端の検証済み精度を達成し、ダウンサンプリングしたImageNetで非空虚な検証を実現している。

ABSTRACT

Recent work has shown that it is possible to train deep neural networks that are provably robust to norm-bounded adversarial perturbations. Most of these methods are based on minimizing an upper bound on the worst-case loss over all possible adversarial perturbations. While these techniques show promise, they often result in difficult optimization procedures that remain hard to scale to larger networks. Through a comprehensive analysis, we show how a simple bounding technique, interval bound propagation (IBP), can be exploited to train large provably robust neural networks that beat the state-of-the-art in verified accuracy. While the upper bound computed by IBP can be quite weak for general networks, we demonstrate that an appropriate loss and clever hyper-parameter schedule allow the network to adapt such that the IBP bound is tight. This results in a fast and stable learning algorithm that outperforms more sophisticated methods and achieves state-of-the-art results on MNIST, CIFAR-10 and SVHN. It also allows us to train the largest model to be verified beyond vacuous bounds on a downscaled version of ImageNet.

研究の動機と目的

• 単純な区間境界伝播の境界を用いて、スケールに応じて検証可能に堅牢な分類器を訓練できることを示す。
• IBPが、検証ベースのより複雑な手法を検証済み精度の点で上回りつつ、計算効率を維持できることを示す。
• 最適化を安定化し、検証可能な堅牢モデルの汎化性能を向上させるカリキュラムベースの訓練戦略を提供する。
• MNIST、CIFAR-10、SVHN、およびダウンサケールImageNetで先行手法と比較して、IBPベースの訓練を評価し、新しいベースラインを確立する。

提案手法

• 軸整列された区間境界をネットワークの層間で伝播させ、l_infty摂動境界に関して敵対的ロジットを境界付ける。
• 名目的な予測損失と、最悪ケースのロジット境界に基づく仕様損失から導かれる損失を組み合わせた訓練損失を定式化する（L = kappa * L_fit + (1 - kappa) * L_spec）。
• 最後の線形層を省略して、最悪ケースのロジット境界をより厳密に取得する（最悪ケースのロジットの推定を改善する）。
• IBP境界を計算するためにネットワークを2回順伝播させ、迅速でスケーラブルな境界伝播を可能にする。
• カリキュラムをスケジュールする：訓練中にεを徐々に増加させ、適合と検証の目的のバランスをとるようにkappaを調整する。
• 実現可能な場合には正確なMIP/LPカスケードで堅牢性を検証し、IBP境界をこれらの検証と比較する。

実験結果

リサーチクエスチョン

• RQ1 区間境界伝播は、検証可能に堅牢なモデルを訓練するためのスケーラブルで効果的な枠組みを提供できるか？
• RQ2 IBP訓練された堅牢性は、データセットとε値全体で実証精度および検証済み精度の点で、最先端手法（例：Madryら、Wongら）とどのように比較されるか？
• RQ3 IBP境界は、完全な検証の信頼できる代理として十分に厳密か？訓練中の厳密さはどのように変化するか？
• RQ4 IBPは、より大規模なネットワークや高解像度データ（例：ImageNetのダウンサケール版）にスケールして、非空虚な検証を維持できるか？

主な発見

• IBPはMNIST、CIFAR-10、SVHNで複数の摂動半径にわたり最先端の検証済み精度を達成する（例：Mnist: ε=0.1で検証誤差2.23%、ε=0.3で8.05%、CIFAR-10: ε=8/255で検証誤差67.96%）。
• IBPはより大きなアーキテクチャへスケールし、ダウンサケールImageNet(64×64)にも適用可能で、WideResNet-10-10でε=1/255において非空虚な検証誤差93.87%。
• IBP境界は、完全なMIP/LPベースの検証境界と競合し、しばしばそれに近く、境界が検証可能な堅牢性の良い代理であることを示す。
• IBP訓練は他の選択肢よりはるかに高速で、例：Titan Xp上の小規模モデル訓練約3.5秒/エポック、いくつかのベースラインより数分と比較。
• 注意深く設計されたカリキュラム（epsilonとkappa）が、IBP境界に適応させ、名目的な性能と検証済み性能の両方を向上させる。
• ImageNetのダウンサケールデータでは、IBPは先行研究がε=1/255で非空虚な境界を示すことができなかった領域で検証可能な堅牢性を提供する。