[論文レビュー] Certified Training: Small Boxes are All You Need

Mark Niklas Müller, Franziska Eckert+2 more|arXiv (Cornell University)|Oct 10, 2022

Adversarial Robustness in Machine Learning被引用数 10

ひとこと要約

SABRは、入力摂動領域の小さな、注意深く選択された部分集合をボックス緩和を用いて伝搬することで、過剰正則化を軽減し、最適化の扱いやすさを損なわずにMNIST、CIFAR-10、TinyImageNetの全データセットで最先端の標準的・認証可能精度を達成する、認証済みトレーニング手法である。

ABSTRACT

To obtain, deterministic guarantees of adversarial robustness, specialized training methods are used. We propose, SABR, a novel such certified training method, based on the key insight that propagating interval bounds for a small but carefully selected subset of the adversarial input region is sufficient to approximate the worst-case loss over the whole region while significantly reducing approximation errors. We show in an extensive empirical evaluation that SABR outperforms existing certified defenses in terms of both standard and certifiable accuracies across perturbation magnitudes and datasets, pointing to a new class of certified training methods promising to alleviate the robustness-accuracy trade-off.

研究の動機と目的

• 誤差の大きい最悪ケース損失近似によって引き起こされる過剰正則化を軽減することで、認証トレーニングにおけるロバストネスと精度のトレードオフを解消する。
• 完全な入力領域を用いる標準的な認証トレーニング手法の限界を克服し、不正確な緩和による高い近似誤差と一般化性能の低下を回避する。
• 選択的領域伝搬を通じて、タイトな最悪ケース損失近似を実現しつつ、計算の扱いやすさを維持する手法を開発する。
• 代表的な敵対的部分領域に焦点を当てることで、一般化性能を向上させ、標準的精度を向上させつつ認証可能ロバストネスを損なわないようにする。
• 全領域伝搬ではなく、原則に基づいた部分集合選択に立脚する認証トレーニングの新しいパラダイムを確立する。

提案手法

• 入力摂動領域（例：ℓ∞-ボール）の小さな、注意深く選択された部分集合を、ボックス緩和（区間境界伝搬）を用いてネットワーク全体に伝搬する。
• ボックス緩和を用いて、これらの部分集合の到達可能集合の過剰近似を計算し、計算効率とスケーラビリティを確保する。
• 最悪ケース損失方向を捉える可能性が最も高い部分集合を、その選択基準とする。
• これらの選択された部分集合上で最悪ケース損失近似を最適化し、全領域ボックス伝搬に比べて近似誤差を低減する。
• 部分集合ベースの最悪ケース損失をトレーニング目的関数に統合し、標準的な最適化手法を用いたエンドツーエンドバックプロパゲーションを可能にする。
• ボックス緩和の成長に関する理論的知見を活用し、部分集合選択をガイドすることで、得られる損失近似のタイトネスを保証する。

実験結果

リサーチクエスチョン

• RQ1 入力摂動領域の小さな代表的部分集合のみを伝搬することで、全領域ボックス伝搬に比べてよりタイトな最悪ケース損失近似が得られるか？
• RQ2 最悪ケース損失推定における近似誤差を低減させることで、認証トレーニングにおける過剰正則化が軽減され、標準的精度が向上するか？
• RQ3 部分集合ベースのアプローチは、計算の扱いやすさを維持しながら、認証精度および標準的精度の両面で全領域手法を上回るか？
• RQ4 ネットワーク伝搬中にボックス緩和がどのように成長するかが、代表的部分集合の選択にどのように影響するか？
• RQ5 このアプローチは、異なるデータセットや摂動ノルム（例：ℓ∞）に一般化可能であり、最先端の性能を維持できるか？

主な発見

• SABRは、複数の摂動マグニチュードにおいて、MNIST、CIFAR-10、TinyImageNetで最先端の認証可能精度を達成し、既存の認証トレーニング手法を上回っている。
• SABRは、ベースラインの認証トレーニング手法に比べて標準的精度を最大15%向上させつつ、認証ロバストネスを維持または向上させている。
• 最悪ケース損失推定における近似誤差を最小限に抑えることで、過剰正則化を軽減し、クリーン入力に対する一般化性能が向上している。
• 実験的結果から、SABRの部分集合ベースのアプローチは、全領域ボックス伝搬に比べて顕著にタイトな最悪ケース損失近似を達成している。
• 理論的分析により、選択的部分集合伝搬が、深層ネットワーク推論中に発生するボックス緩和誤差の指数的成長を緩和することが確認された。
• SABRはデータセットや摂動ノルムに一般化可能であり、アーキテクチャの変更や追加のハイパーパrameterを必要とせず、一貫した性能向上を示している。