[論文レビュー] Manifold Regularization for Locally Stable Deep Neural Networks

Charles Jin, Martin Rinard|arXiv (Cornell University)|Mar 9, 2020

Adversarial Robustness in Machine Learning参考文献 49被引用数 10

ひとこと要約

本稿では、スパースなグラフラプラシアン近似に基づく多様体正則化を用いて、局所安定な深層ニューラルネットワークを訓練するための新しい正則化技術を提案する。ReLUネットワークの区分線形構造を活用し、訓練中にランダムな点をサンプリングすることで、CIFAR-10におけるℓ∞ノイズε=8/255に対して21%の最先端の検証可能ロバスト精度を達成した。計算コストは3回の順方向伝搬と同等であり、非常に低い。

ABSTRACT

We apply concepts from manifold regularization to develop new regularization techniques for training locally stable deep neural networks. Our regularizers are based on a sparsification of the graph Laplacian which holds with high probability when the data is sparse in high dimensions, as is common in deep learning. Empirically, our networks exhibit stability in a diverse set of perturbation models, including $\ell_2$, $\ell_\infty$, and Wasserstein-based perturbations; in particular, we achieve 40% adversarial accuracy on CIFAR-10 against an adaptive PGD attack using $\ell_\infty$ perturbations of size $ε= 8/255$, and state-of-the-art verified accuracy of 21% in the same perturbation model. Furthermore, our techniques are efficient, incurring overhead on par with two additional parallel forward passes through the network.

研究の動機と目的

• 反復的 adversarial 訓練を必要とせず、局所安定性およびロバスト性を向上させる正則化のみの防御法を開発すること。
• 高次元空間における低次元部分多様体上に分布するデータという多様体仮説を活用し、一般化性およびロバスト性を向上させること。
• ReLUネットワークの区分線形性を活用した効率的な正則化子を設計し、出力および意思決定境界の両方における滑らかさを強制すること。
• ℓ₂、ℓ∞、および Wasserstein ベースの攻撃を含む多様な摂動タイプに対して強いロバスト性を達成しつつ、計算コストを低く保つこと。
• 訓練中に内部最適化ループを必要とせず、検証可能ロバスト精度が最先端水準に達することを実証すること。

提案手法

• k近傍法またはε-ボールに基づくスパースなグラフラプラシアン近似を用いて、データ多様体の内在的幾何をモデル化する。
• 離散的グラフラプラシアンに基づく正則化子を導入し、ネットワーク出力をデータ多様体上で滑らかに保つように促進し、局所近傍での変動を最小化する。
• 正則化子は、各訓練サンプルに対して2つの追加のランダム点でのネットワーク評価によって計算され、 adversarial 最適化を回避する。
• ReLUネットワークの連続的かつ区分線形な構造を明示的に活用し、出力の滑らかさに加え、意思決定境界の滑らかさも保証する。
• 標準的な交差エントロピー損失と多様体正則化子を組み合わせた訓練目的を採用し、微分可能かつ大規模モデルにスケーラブルである。
• 計算が効率的であり、1サンプルあたり2回の追加順方向伝搬のコストに留まるため、大規模な訓練に適している。

実験結果

リサーチクエスチョン

• RQ1 多様体正則化は、深層ニューラルネットワークに効果的に適応可能であり、adversarial ノイズに対する局所安定性およびロバスト性を向上させることができるか？
• RQ2 正則化のみのアプローチは、訓練コストを削減しつつ、adversarial 訓練を上回るか同等のロバスト性を達成できるか？
• RQ3 ランダムサンプリングに基づくスパースなグラフラプラシアン近似は、反復的な adversarial 攻撃生成を必要とせず、強力なロバスト性を達成できるか？
• RQ4 提案された正則化子は、ℓ₂、ℓ∞、および Wasserstein ベースの摂動を含む多様な摂動タイプに対して、どの程度ロバスト性を向上させるか？
• RQ5 本手法は、CIFAR-10におけるℓ∞摂動ε=8/255に対して、最先端の検証可能ロバスト精度を達成できるか？

主な発見

• 本手法は、CIFAR-10におけるℓ∞摂動ε=8/255に対して21%の検証可能ロバスト精度を達成し、検証可能な防御分野で新たな最先端水準を樹立した。
• 標準的な PGD 攻撃（ℓ∞ノイズε=8/255）に対して40.54%のロバスト精度を達成し、adversarial 訓練で学習されたモデルと同等の性能を示した。
• 一般化性能が高く、AutoAttack（ℓ₂およびℓ∞攻撃の強力なアンサンブル）に対して57.53%のロバスト精度、Wasserstein ベースの摂動に対して66.02%のロバスト精度を達成した。
• 計算コストは非常に低く、バッチあたり3回の順方向伝搬に相当するため、標準的な PGD ベースの adversarial 訓練よりも1桁速い。
• ℓ₂、ℓ∞、および視覚的に整合した Wasserstein 攻撃を含む複数の摂動モデルに対してロバストであることが示され、広範な局所安定性が裏付けられた。
• 本手法は、標準的な adversarial 訓練と同等の性能を達成しながらも、強い検証可能ロバスト性を維持する正則化のみのアプローチとして、初めての成功例である。