[論文レビュー] Improving the Tightness of Convex Relaxation Bounds for Training Certifiably Robust Classifiers

Chen Zhu, Renkun Ni+4 more|ArXiv.org|Feb 22, 2020

Adversarial Robustness in Machine Learning参考文献 27被引用数 6

ひとこと要約

本稿では、訓練中の証明可能に頑健なニューラルネットワークの凸緩和バウンドのタイトさを向上させる2つの新しい正則化項を提案する。緩和問題の解が元の非凸問題でも実行可能であるように促すことで、認証可能ロバスト性と実証的ロバスト性のギャップを縮小し、さまざまな摂動バウンド下でのMNISTおよびCIFAR-10で最先端の認証可能精度を達成する。

ABSTRACT

Convex relaxations are effective for training and certifying neural networks against norm-bounded adversarial attacks, but they leave a large gap between certifiable and empirical robustness. In principle, convex relaxation can provide tight bounds if the solution to the relaxed problem is feasible for the original non-convex problem. We propose two regularizers that can be used to train neural networks that yield tighter convex relaxation bounds for robustness. In all of our experiments, the proposed regularizers result in higher certified accuracy than non-regularized baselines.

研究の動機と目的

• 凸緩和バウンドを用いて訓練されたニューラルネットワークにおける認証可能ロバスト性と実証的ロバスト性のギャップを低減すること。
• 凸緩和バウンドがタイトになる条件を特定し、ロバスト性の検証をより良くすること。
• 元の非凸問題で実行可能である解に訓練を誘導する正則化項を開発し、バウンドのタイトさを向上させること。
• Fast-Lin や IBP といった効率的な検証器の性能を、正則化による初期ネットワーク重みの質の向上によって向上させること。
• 標準ベンチマークにおいて、非正則化ベースラインおよび最先端手法よりも優れた認証可能精度を達成すること。

提案手法

• 緩和問題の線形ネットワーク解釈を提案し、最適解が各層に敵対的摂動を注入した線形ネットワークを介した順伝播として表現されることを示す。
• 緩和問題における層間の摂動の累積的効果を分析することで、タイトなバウンドの最適性条件を同定する。
• 中間層の事前活性化バウンドに基づく正則化項と、外側の敵対的ポリトープに基づく正則化項の2つを導入し、緩和解が元の問題で実行可能であるように促進する。
• 正則化項を訓練目的関数に統合し、最適化中によりタイトな凸緩和バウンドを促進する。
• Fast-Lin や IBP といった効率的な検証器を用いて認証可能ロバスト性を評価し、スケーラビリティと実用性を確保する。
• 正則化項を2つの設定に適用する：単独での凸緩和訓練、および CROWN-IBP（2段階訓練手法）の初期化としての適用。

実験結果

リサーチクエスチョン

• RQ1 元の非凸問題で実行可能である解を生成するようにネットワークを正則化することで、凸緩和バウンドをタイトにできるか？
• RQ2 緩和問題の構造的または最適化的性質のうち、認証可能ロバスト性と実証的ロバスト性のギャップを生じさせる要因は何か？
• RQ3 IBP や CROWN-IBP といった既存手法と比較して、提案する正則化項は認証可能精度でどのように差をつけるか？
• RQ4 高価な最適な層別緩和を必要としない効率的な検証器（例：Fast-Lin）を用いても、正則化項は性能向上に寄与するか？
• RQ5 CROWN-IBP のような2段階訓練手法において、正則化項を初期化に用いることで、最終的な認証可能精度が向上するか？

主な発見

• 提案された正則化項は、MNIST および CIFAR-10 における全評価設定で、非正則化ベースラインを常に上回る認証可能ロバスト精度を達成する。
• ε=0.3 の MNIST では、10.18±0.5% の認証可能精度を達成し、先行研究で報告された最高結果を上回る。
• ε=2/255 の CIFAR-10 では、同等サイズのモデルの中で最高の認証可能精度を達成し、最先端の性能を示す。
• MNIST の小規模な正確モデルでは、ε=0.1 のとき認証可能ロバスト誤差の相対的改善が18%、ε=0.3 のとき3.4%に達し、バウンドのタイトさ向上が顕著である。
• CROWN-IBP に適用した場合、正則化項は初期化段階を改善し、MNIST（ε=0.3）および CIFAR-10（ε=8/255）の両方で最終的な認証可能精度を向上させる。
• アブレーションスタディにより、両正則化項が性能向上に寄与していることが確認され、複数のモデルファミリーおよびランダムシードにわたり一貫した改善が得られた。