[論文レビュー] Provable Robustness of ReLU networks via Maximization of Linear Regions

Francesco Croce, Maksym Andriushchenko+1 more|arXiv (Cornell University)|Oct 17, 2018

Adversarial Robustness in Machine Learning被引用数 72

ひとこと要約

この論文は、ReLUネットワーク用の最大マージン正則化子（MMR）を提案し、線形領域を拡大し決定境界までの距離を拡大することで、証明可能な頑健性保証と頑健性境界の改善、競合する精度を実現する。

ABSTRACT

It has been shown that neural network classifiers are not robust. This raises concerns about their usage in safety-critical systems. We propose in this paper a regularization scheme for ReLU networks which provably improves the robustness of the classifier by maximizing the linear regions of the classifier as well as the distance to the decision boundary. Our techniques allow even to find the minimal adversarial perturbation for a fraction of test points for large networks. In the experiments we show that our approach improves upon adversarial training both in terms of lower and upper bounds on the robustness and is comparable or better than the state-of-the-art in terms of test error and robustness.

研究の動機と目的

• 安全性が重要な設定でニューラルネットの頑健性保証を動機づける。
• ReLUネットワークにおける線形領域のサイズと決定境界までの距離を増加させる正則化スキームを開発する。
• 計算可能な下界および上界の頑健性境界を提供し、敵対的訓練と統合する。
• 複数のデータセットとアーキテクチャで証明可能な頑健性と検証性を改善して示す。

提案手法

• ReLUネットワークを連続的な分岐た affine関数として表現し、その線形領域 Q(x) を記述する。
• 領域境界への距離 d_B(x) および決定境界への距離 d_D(x) を領域固有のアフィン写像 V^{(l)} および a^{(l)} を用いて定義する。
• 頑健性保証を導出する: d_B(x) は d_B(x) ≤ d_D(x) のとき最小摂動の下界; d_D(x) は d_D(x) ≤ d_B(x) のとき最小摂動の上界となる。
• 最大マージン正則化子 (MMR) を導入し、式 (5) のように領域境界近接と決定境界近接のペナルティを組み合わせる。
• 実用的な変種 kMMR を導入し、訓練を加速するために最も近い k 個の領域および決定超平面を平均化する。
• 標準のクロスエントロピーロスに λ·MMR(x) を足して学習し、証明可能に頑健な分類器を得る。
• MMR は混合整数計画認証に適したモデルを作ることで検証性を高めると主張する。

実験結果

リサーチクエスチョン

• RQ1 ReLUネットワークの頑健性を、線形領域境界および決定境界への距離の観点からどのように定量化できるか？
• RQ2 これらの幾何距離で正則化すると、敵対的摂動に関する証明可能な下界/上界を得られるか？
• RQ3 Maximium Margin Regularization はネットワークの経験的頑健性と検証性（verifiability）を向上させるか？
• RQ4 MMR は敵対的訓練とどのように相互作用して、一般的なノルム（l2, l∞）の下で頑健性の保証を高めるか？

主な発見

• MMR は訓練済みネットワークにおいて、正則化なしのベースラインと比べて線形領域のサイズを大幅に拡大する。
• 提案された頑健性保証（定理 3.1）は、多くの入力に対して最小摂動の計算可能な下界と上界を提供し、検証性を向上させる。
• MMR（および敵対的訓練を組み合わせたMMR）は、MNIST、GTS、Fashion-MNIST、CIFAR-10 の複数のデータセットで、いくつかの以前の方法よりも厳密な証明可能な頑健性境界を生み出す。
• MMRモデルは MIP による認証がはるかに高速で、多くの設定でほぼ完全な認証性を達成し、素の方法やいくつかの競合法よりも優れている。
• 経験的には、MMR は頑健性境界とテスト精度の両方を改善し、KW や Xiao et al. などの方法と比較して検証性を高める。