[論文レビュー] IBP Regularization for Verified Adversarial Robustness via Branch-and-Bound

Alessandro De Palma, Rudy Bunel+3 more|arXiv (Cornell University)|Jun 29, 2022

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本稿では、拡大された摂動領域における adversarial 攻撃と区間境界伝搬（IBP）正則化を組み合わせることで、検証緩和をタイトにすることで、敵対的ロバストネスを向上させる、シンプルでありながら効果的な検証可能訓練手法 IBP-R を提案する。IBP-R は、CIFAR-10 において ε=2/255 の条件下で、COLT よりも 3 分の 1 未満の訓練時間で、最先端の検証可能精度（61.97）を達成する。また、最小限のオーバーヘッドで FSB の検証性能に匹敵する低コストの分岐戦略 UPB を導入する。

ABSTRACT

Recent works have tried to increase the verifiability of adversarially trained networks by running the attacks over domains larger than the original perturbations and adding various regularization terms to the objective. However, these algorithms either underperform or require complex and expensive stage-wise training procedures, hindering their practical applicability. We present IBP-R, a novel verified training algorithm that is both simple and effective. IBP-R induces network verifiability by coupling adversarial attacks on enlarged domains with a regularization term, based on inexpensive interval bound propagation, that minimizes the gap between the non-convex verification problem and its approximations. By leveraging recent branch-and-bound frameworks, we show that IBP-R obtains state-of-the-art verified robustness-accuracy trade-offs for small perturbations on CIFAR-10 while training significantly faster than relevant previous work. Additionally, we present UPB, a novel branching strategy that, relying on a simple heuristic based on $β$-CROWN, reduces the cost of state-of-the-art branching algorithms while yielding splits of comparable quality.

研究の動機と目的

• 小さな摂動に対して高い検証可能ロバストネスを達成できる、シンプルで効果的な検証可能訓練手法の開発。
• 性能を損なわずに、検証可能ロバストネス手法の訓練コストを低減すること。
• 新規の低コスト分岐戦略の導入により、分岐・限定検証の効率を向上させること。
• 敵対的にロバストなニューラルネットワークにおける、検証可能性と実用的訓練効率のギャップを埋めること。

提案手法

• IBP-R は、目標となるロバストネス半径よりもはるかに大きな摂動領域に対して adversarial 攻撃を実行することで、一般化性と検証可能性を向上させる。
• 非凸な検証問題とその凸緩和との乖離を最小化するため、区間境界伝搬（IBP）に基づく正則化項を適用する。
• 最近の分岐・限定フレームワークを活用して、訓練済みネットワークの効率的かつスケーラブルな検証を可能にする。
• UPB は、β-CROWN からの双対情報を利用し、計算コストを最小限に抑えて分岐意思決定の優先順位をヒューリスティックに評価する、新規の分岐戦略である。
• UPB は、1 回の勾配逆伝播のコストで分岐優先度を計算するため、最先端の代替手法と比較して非常に効率的である。
• 本手法は、IBP 正則化と、検証に用いられる凸緩和のタイトネスを向上させる修正された訓練目的を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 IBP 正則化を用いたシンプルな訓練手順は、小さな摂動において最先端の検証可能ロバストネスを達成できるか？
• RQ2 IBP-R は、COLT のような既存の検証可能訓練手法と比較して、訓練速度と検証可能精度の両面で優れているか？
• RQ3 UPB のような低コスト分岐戦略は、FSB のような高コストな最先端手法と同等の検証性能を達成できるか？
• RQ4 拡大された攻撃領域を使用することで、敵対的に訓練されたネットワークの検証可能性が向上するか？

主な発見

• ε=2/255 の条件下で、IBP-R は CIFAR-10 において検証可能精度 61.97、MI-FGSM 攻撃下でのロバスト精度 66.39、自然精度 78.19 を達成する。
• ε=2/255 の条件下で、IBP-R は COLT が要する時間の 3 分の 1 未満で訓練が可能であり、検証可能精度でも上回る。
• ε=8/255 の条件下で、IBP-R は競争力のある検証可能精度を達成するとともに、COLT よりも訓練時間をほぼ半減させる。
• UPB は、平均実行時間 98.87 秒（ε=2/255）および 100.19 秒（ε=8/255）で、FSB と同等の検証性能を達成し、タイムアウト率はそれぞれ 5.16% および 4.46% にとどまる。
• UPB は ε=2/255 では訪問する部分問題数を削減するが、ε=8/255 ではわずかに増加させるが、最小限のオーバーヘッドで高い性能を維持する。
• COLT の Jax 実装は、ε=2/255 および ε=8/255 でそれぞれ 5.7 倍および 4.4 倍の高速化を示し、タイミング比較の公平性を裏付ける。