[論文レビュー] Improved robustness to adversarial examples using Lipschitz regularization of the loss

Chris Finlay, Adam M. Oberman+1 more|arXiv (Cornell University)|Oct 1, 2018

Adversarial Robustness in Machine Learning参考文献 34被引用数 23

ひとこと要約

本論文では、損失関数のリプシッツ定数を正則化することで、敵対的ロバストネスを向上させる新しい手法であるWorst Case Adversarial Training (WCAT) を提案する。敵対的訓練を全 Variation 正則化と解釈し、WCAT をリプシッツ正則化とみなすことにより、ℓ₂ ノルムの摂動下で CIFAR-10 において最先端の手法よりも 11% 高いロバストネスを達成した。また、勾配ノルムに基づく検証可能なロバストネス保証を提供する。

ABSTRACT

We augment adversarial training (AT) with worst case adversarial training (WCAT) which improves adversarial robustness by 11% over the current state-of-the-art result in the $\ell_2$ norm on CIFAR-10. We obtain verifiable average case and worst case robustness guarantees, based on the expected and maximum values of the norm of the gradient of the loss. We interpret adversarial training as Total Variation Regularization, which is a fundamental tool in mathematical image processing, and WCAT as Lipschitz regularization.

研究の動機と目的

• ℓ₂ ノルムの摂動下における深層ニューラルネットワークの敵対的ロバストネスを向上させること。
• 平均的状況および最悪状況の両方のロバストネスに対して検証可能な保証を提供すること。
• 敵対的訓練を全 Variation 正則化として形式化し、WCAT をリプシッツ正則化として形式化すること。
• 損失関数の勾配ノルムの制御を通じて、一般化性能とロバストネスを向上させること。

提案手法

• 損失関数の最悪ケース勾配ノルムを最適化することで、Worst Case Adversarial Training (WCAT) を導入する。
• 勾配の最大ノルムを用いて損失関数を正則化し、リプシッツ連続性を強制する。
• 画像処理の文脈において、敵対的訓練を全 Variation 正則化の一種として定式化する。
• 損失関数の勾配ノルムの期待値および最大値に基づいて、検証可能なロバストネス保証を導出する。
• 最適化の過程で、敵対的ロバストネスの代理指標として最悪ケース勾配ノルムを用いる。

実験結果

リサーチクエスチョン

• RQ1 損失関数のリプシッツ正則化は、標準的な敵対的訓練を上回る敵対的ロバストネスを向上させることができるか？
• RQ2 WCAT は、ℓ₂ ノルムの摂動下で CIFAR-10 において最先端の手法と比較して、ロバスト精度でどのように差をつけるか？
• RQ3 損失関数の勾配ノルムから検証可能なロバストネス保証を導出できるか？
• RQ4 敵対的訓練と全 Variation 正則化との間には、理論的なつながりがあるか？

主な発見

• WCAT は、ℓ₂ ノルムの摂動下で CIFAR-10 において最先端の手法を 11% 上回る敵対的ロバストネスを達成した。
• 本手法は、損失関数の勾配ノルムに基づいて、平均的状況および最悪状況の両方のロバストネスに対して検証可能な保証を提供する。
• 敵対的訓練は、画像処理フレームワークにおいて、全 Variation 正則化として形式的に解釈された。
• WCAT が損失関数のリプシッツ正則化と同等であることが示され、ロバストトレーニングの新しい理論的視点が得られた。