[論文レビュー] A Unified Gradient Regularization Family for Adversarial Examples

Chunchuan Lyu, Kaizhu Huang+1 more|arXiv (Cornell University)|Nov 19, 2015

Adversarial Robustness in Machine Learning参考文献 19被引用数 23

ひとこと要約

本稿では、入力に対する損失関数の勾配を正則化することで、敵対的例に対するモデルの頑健性を向上させる包括的な勾配正則化族を提案する。敵対的頑健性をミニマックス最適化問題として定式化し、さまざまなpノルムに基づく正則化手法の族を導出することで、高速勾配符号法を一般化し、データ拡張なしのMNISTにおいて最先端の精度を達成するとともに、CIFAR-10でも競争力ある結果を示した。

ABSTRACT

Adversarial examples are augmented data points generated by imperceptible perturbation of input samples. They have recently drawn much attention with the machine learning and data mining community. Being difficult to distinguish from real examples, such adversarial examples could change the prediction of many of the best learning models including the state-of-the-art deep learning models. Recent attempts have been made to build robust models that take into account adversarial examples. However, these methods can either lead to performance drops or lack mathematical motivations. In this paper, we propose a unified framework to build robust machine learning models against adversarial examples. More specifically, using the unified framework, we develop a family of gradient regularization methods that effectively penalize the gradient of loss function w.r.t. inputs. Our proposed framework is appealing in that it offers a unified view to deal with adversarial examples. It incorporates another recently-proposed perturbation based approach as a special case. In addition, we present some visual effects that reveals semantic meaning in those perturbations, and thus support our regularization method and provide another explanation for generalizability of adversarial examples. By applying this technique to Maxout networks, we conduct a series of experiments and achieve encouraging results on two benchmark datasets. In particular,we attain the best accuracy on MNIST data (without data augmentation) and competitive performance on CIFAR-10 data.

研究の動機と目的

• 既存の敵対的訓練手法における数学的根拠の欠如と性能の低下という問題に取り組む。
• さまざまな勾配ベースの正則化手法を、敵対的頑健性のための単一で整合的なフレームワークに統合する。
• 理論的裏付けが強く、精度を損なわずにモデルの頑健性を向上させる一般化可能な手法を提供する。
• 敵対的摂動がモデル間で一般化する理由を、視覚的および幾何学的分析を通じて解明する。

提案手法

• モデルがpノルム球内での最悪の入力摂動に対して頑健であるように学習する包括的なミニマックス最適化フレームワークを提案する。
• pノルム制約下で入力勾配と摂動ベクトルの内積を最大化する制約付き最適化問題を解くことで、勾配正則化手法の族を導出する。
• ラグランジュ乗数を用いて最適摂動方向を解析的に解き、勾配のpノルムを含む閉形式の式を得る。
• p = ∞のとき、高速勾配符号法が提案された族の特別な場合であることを確立する。
• 導出された勾配ペナルティをMaxoutネットワークに適用し、標準的なバックプロパゲーションを用いてモデルを訓練する。
• 摂動の可視化を通じて、モデル間での一般化を検証し、摂動に意味的な構造が存在することを明らかにする。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースの摂動を用いて敵対的例に対してモデルを正則化する包括的な数学的フレームワークを開発できるか？
• RQ2 提案された正則化族は、高速勾配符号法などの既存手法とどのように関係しているか？
• RQ3 異なるpノルムが敵対的訓練の頑健性と一般化に与える影響は何か？
• RQ4 敵対的例がモデル間で一般化する理由は何か？幾何学的または視覚的分析によって説明可能か？

主な発見

• 提案された勾配正則化族は、p = ∞のとき高速勾配符号法の特別な場合として一般化される。
• 本手法は、データ拡張なしのMNISTで、報告された最高の精度を達成し、先行手法を上回った。
• CIFAR-10では、競争力ある性能を示し、異なるデータセットへの強い一般化能力を示した。
• 敵対的摂動の可視化により、意味的なパターンが確認され、敵対的例が高次元特徴空間における線形的挙動を活用しているという仮説を支持した。
• 理論的分析により、最適摂動が勾配方向にpノルムでスケーリングされたものと一致することが確認され、最悪ケースの頑健性が保証された。