[論文レビュー] Robust Learning with Jacobian Regularization

Judy Hoffman, Daniel A. Roberts+1 more|arXiv (Cornell University)|Aug 7, 2019

Adversarial Robustness in Machine Learning参考文献 42被引用数 41

ひとこと要約

本論文は入力-出力ヤコビ行列のFrobeniusノルムを最小化するヤコビ正則化を導入し、ニューラルネットワークをランダムおよび敵対的な入力撹乱に対してより頑健にしつつ、クリーンデータに対する性能を維持する。

ABSTRACT

Design of reliable systems must guarantee stability against input perturbations. In machine learning, such guarantee entails preventing overfitting and ensuring robustness of models against corruption of input data. In order to maximize stability, we analyze and develop a computationally efficient implementation of Jacobian regularization that increases classification margins of neural networks. The stabilizing effect of the Jacobian regularizer leads to significant improvements in robustness, as measured against both random and adversarial input perturbations, without severely degrading generalization properties on clean data.

研究の動機と目的

• 入力撹乱および過学習に対する学習システムの頑健性を動機づける。
• 分類マージンを拡張する計算効率の高いヤコビ正則化子を提案する。
• クリーンデータの性能を損なうことなく、ランダムおよび敵対的撹乱に対する頑健性をヤコビ正則化が改善することを示す。
• ヤコビペナルティのためのランダム射影を用いた、効率的なSGD適合アルゴリズムを提供する。
• 既存の正則化手法およびドメイン適応アプローチとの適用性を示す。

提案手法

• 入力-出力ヤコビ行列を定義し、そのFrobeniusノルムを最小化することを頑健性の目的として正当化する。
• ヤコビ正則化子を学習損失に統合し、L_joint = L_bare + (lambda_JR/2) * (1/|B|) sum_{alpha in B} ||J(x^alpha)||_F^2 とする。
• ヤコビノルムとその勾配を推定する、SGDパイプライン内でのランダム射影を用いた効率的な近似アルゴリズムを提案する。
• 参照として、正確な勾配をヤコビを介してバックプロパゲーションする代替手段を提供する（計算コストは高い）。
• 収束性を分析し、実験的に正確法と近似法の差がほとんどないことを示す。
• LeNet’を用いたMNISTで、他の正則化手法と組み合わせた場合に、白色ノイズや敵対的攻撃（FGSM、PGD、CW）に対する頑健性と、ドメイン一般化（USPS）を改善することを示す。

実験結果

リサーチクエスチョン

• RQ1 ヤコビ正則化は非線形ネットワークの分類マージンを増大させ、決定境界を安定化させるか？
• RQ2 SGDで入力-出力ヤコビ行列のFrobeniusノルムを過度なオーバーヘッドなく効率的に最小化できるか？
• RQ3 ヤコビ正則化はクリーンデータの精度を損なうことなく、ランダムな入力ノイズおよび敵対的撹乱（FGSM、PGD、CW）に対する頑健性を改善するか？
• RQ4 ヤコビ正則化はL2やドロップアウトなど他の正則化手法、およびドメイン適応技術とどのように相互作用するか？
• RQ5 近似的なランダム射影実装は実践上、正確なヤコビ正則化と実質的に同等か？

主な発見

• ヤコビ正則化は意思決定領域を拡張し、非線形ネットワークの不安定性を低減する。標準のL2は平滑化はするがマージンを必ずしも拡張しない。
• MNISTでLeNet’を用いて訓練した場合、クリーンデータ精度はほぼ同等ながらヤコビノルムが著しく小さくなる。
• ヤコビ正則化は白色ノイズに対する頑健性を他の正則化より効果的に向上させ、単独で使用した場合は基準的な敵対的防御よりも優れている。
• ヤコビ正則化の近似的なランダム射影実装は、精度とヤコビの大きさの双方で正確な方法に密接に一致し、計算オーバーヘッドは大きくない。
• ヤコビを含む正則化子は、L2やドロップアウトと組み合わせて訓練した場合、未見のドメイン（例: USPS）への一般化を改善できる。