[論文レビュー] Training for Faster Adversarial Robustness Verification via Inducing ReLU Stability

Kai Xiao, Vincent Tjeng+2 more|arXiv (Cornell University)|Sep 9, 2018

Adversarial Robustness in Machine Learning参考文献 33被引用数 64

ひとこと要約

本論文は、重みのスパーシティとReLUの安定性（RS Loss）を組み合わせたトレーニングの共同設計を提案し、敵対的ロバスト性の検証を高速化する。MNISTとCIFAR-10で4–13xのスピードアップと証明可能な精度の向上を達成。RS Lossとスパース性技術は、最小限の精度低下で検証速度を大幅に向上させる。

ABSTRACT

We explore the concept of co-design in the context of neural network verification. Specifically, we aim to train deep neural networks that not only are robust to adversarial perturbations but also whose robustness can be verified more easily. To this end, we identify two properties of network models - weight sparsity and so-called ReLU stability - that turn out to significantly impact the complexity of the corresponding verification task. We demonstrate that improving weight sparsity alone already enables us to turn computationally intractable verification problems into tractable ones. Then, improving ReLU stability leads to an additional 4-13x speedup in verification times. An important feature of our methodology is its "universality," in the sense that it can be used with a broad range of training procedures and verification approaches.

研究の動機と目的

• より高速で厳密なロバスト性検証を可能にするため、トレーニングと検証の共同設計を動機づける。
• 重みのスパーシティとReLU安定性が検証器の複雑さを低減することを示す。
• 大きな精度低下を伴わずにReLUの安定性を誘導する正則化手法を開発する。
• MNISTとCIFAR-10でのスピードアップと証明可能なロバスト性の改善を実証する。
• LP/MILPベースの検証器と互換性のある普遍的なアプローチを提供する。

提案手法

• L1正則化と小さなウェイトプルーニングを用いて重みのスパーシティを高め、検証変数を削減する。
• ReLU安定性を定義し、滑らかな代理関数（F = -tanh(1 + u·l)）を介して安定性を促進するRS Lossを導入する。
• 区間算術法（素朴なものまたは改善版）を用いてReLUの上下界を推定し、RS Lossのためのuとlを計算する。
• 強靭な対抗的トレーニング（Madry et al. 2018）とRS Lossおよびスパース性技術を組み合わせて訓練する。
• 厳密なMILPベースの検証器（Tjeng et al. 2019）で評価し、証明可能なロバスト性と解時間を測定する。
• ベースラインおよび認定可能な防御法と比較して、スピードアップと精度を評価する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングと検証の共同設計は、厳密な検証の複雑さを低減しうるか？
• RQ2 重みのスパーシティとReLU安定性は、個別および相互作用で検証速度と証明可能なロバスト性にどのような影響を与えるか？
• RQ3 RS LossによるReLU安定性の強制で、実用的な精度と検証のトレードオフはどうなるか？
• RQ4 これらの手法は検証器を超えて普遍的であり、CIFAR-10へスケール可能か？
• RQ5 異なる摂動強度（epsilon）に対して、RS Lossとスパーシティは証明可能ロバスト性でどのように機能するか？

主な発見

• L1正則化とプルーニングによる重みのスパーシティは、MNISTで検証速度と証明可能なロバスト性を飛躍的に向上させる（例：epsilon=0.1でプルーニング時の証明可能対抗的精度89.13%）。
• RS Lossは不安定なReLUsを減らし、MNISTでepsilonが{0.1,0.2,0.3}の場合検証を4–13x高速化し、精度低下は小さい。
• CIFAR-10ではRS Lossは速度向上が小さく（1.6–3.7x）だが、いくつかの設定で依然として証明可能なロバスト性を向上させる。
• スパース性とRS Lossを組み合わせると、最先端の精度を維持しつつ、厳密検証を大幅に高速化できる。
• +RSネットワークは、テストされたすべてのepsilonにわたって高いProvable Adversarial Accuracyを達成（例：MNIST epsilon=0.1で91.58%から94.33%へ）。
• このアプローチはCIFAR-10で証明可能なロバスト性の改善を示し、効率を維持したまま大規模ネットワークへスケールする。