[論文レビュー] Improved deterministic l2 robustness on CIFAR-10 and CIFAR-100

Sahil Singla, Surbhi Singla+1 more|arXiv (Cornell University)|Aug 5, 2021

Adversarial Robustness in Machine Learning被引用数 11

ひとこと要約

本稿では、CIFAR-10およびCIFAR-100における1-Lipschitz畳み込みニューラルネットワーク（CNN）の決定的l²ロバスト性を向上させるために、最後の層の正規化（LLN）を提案する。最後の層の重みを単位ノルムに正規化しつつ、方向の更新を許容することで、訓練中に深刻な忘却を回避し、標準的および証明可能なロバスト精度の両方で顕著な向上を達成する。特に、新規のハウスホルダー活性化関数と証明正則化を用いて、CIFAR-100でそれぞれ+4.80%および+4.71%の向上を達成した。

ABSTRACT

Training convolutional neural networks (CNNs) with a strict Lipschitz constraint under the $l_{2}$ norm is useful for provable adversarial robustness, interpretable gradients and stable training. While $1$-Lipschitz CNNs can be designed by enforcing a $1$-Lipschitz constraint on each layer, training such networks requires each layer to have an orthogonal Jacobian matrix (for all inputs) to prevent the gradients from vanishing during backpropagation. A layer with this property is said to be Gradient Norm Preserving (GNP). In this work, we introduce a procedure to certify the robustness of $1$-Lipschitz CNNs by relaxing the orthogonalization of the last linear layer of the network that significantly advances the state of the art for both standard and provable robust accuracies on CIFAR-100 (gains of $4.80\%$ and $4.71\%$, respectively). We further boost their robustness by introducing (i) a novel Gradient Norm preserving activation function called the Householder activation function (that includes every $\mathrm{GroupSort}$ activation) and (ii) a certificate regularization. On CIFAR-10, we achieve significant improvements over prior works in provable robust accuracy ($5.81\%$) with only a minor drop in standard accuracy ($-0.29\%$). Code for reproducing all experiments in the paper is available at \url{https://github.com/singlasahil14/SOC}.

研究の動機と目的

• 最終層の重み行列に直交制約を課す訓練において、1-Lipschitz CNNで発生する深刻な忘却問題に対処すること。
• 最後の線形層における厳密な直交性要件を緩和することで、CIFAR-100における証明可能なロバスト精度を向上させること。
• 最終重み行列が直交でなくてもよい新しい認証手法を開発し、より柔軟で効果的な訓練を可能にすること。
• グループソートを一般化し、層間の勾配ノルムを保存する新しい勾配ノルム保存型活性化関数（ハウスホルダー活性化関数）を導入すること。
• 認証正則化を用いてロバスト性を強化し、複数のアーキテクチャおよびデータセット分割において一貫した向上を示すこと。

提案手法

• 最後の重み行列の各行を単位ノルムに正規化するが、その方向は訓練中に自由に変更可能であるLast Layer Normalization（LLN）を提案する。
• 新たなロバストネス認証を導入：$ \min_{i \neq l} \frac{f_l(\mathbf{x}) - f_i(\mathbf{x})}{\|\mathbf{W}_{l,:} - \mathbf{W}_{i,:}\|_2} $。最終層が直交でない場合でも有効である。
• ハウスホルダー活性化関数（HH）を設計。これはGNP活性化関数であり、グループソートを一般化し、層間で勾配ノルムを保存可能にする。
• 認証正則化（CR）を適用し、正解クラスと誤りクラスのログイット間のマージンを大きくすることで、さらにロバスト性を向上させる。
• 最終層のノルムを1に制約するが、その方向は自由に更新可能である修正された訓練手順を採用し、他のすべての行を更新する必要を回避する。
• LLN、HH活性化関数、およびCRの組み合わせにより、証明可能なl²ロバスト性の下でCIFAR-10およびCIFAR-100で最先端の性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 1-Lipschitz CNNの最終層に直交性制約を緩和することで、認証の有効性を損なわせずにロバスト性を向上させることができるか？
• RQ2 最後の層正規化（LLN）は、CIFAR-100のような高クラス数設定において、深刻な忘却をどのように軽減するか？
• RQ3 グループソートと比較して、ハウスホルダー活性化関数は訓練の安定性およびロバスト性をどの程度向上させるか？
• RQ4 認証正則化は、1-Lipschitzネットワークにおける証明可能なロバスト精度をさらに向上させることができるか？
• RQ5 LLN、HH活性化関数、およびCRの組み合わせが、複数のアーキテクチャにおいて標準的および証明可能なロバスト精度に及ぼす総合的影響は何か？

主な発見

• CIFAR-100では、先行研究の最良手法と比較して、標準精度が+4.80%、ρ = 36/255における証明可能なロバスト精度が+4.71%向上した。
• CIFAR-10では、ρ = 36/255で5.81%の証明可能なロバスト精度を達成し、標準精度はわずか0.29%低下した。
• LLN、ハウスホルダー活性化関数、および認証正則化の組み合わせは、CIFAR-10およびCIFAR-100の全テストアーキテクチャで一貫した向上をもたらした。
• アブレーションスタディの結果、LLN単体でも、SOCベースラインと比較してCIFAR-100で標準精度が最大+4.80%、証明可能なロバスト精度が最大+4.80%向上した。
• 認証正則化は、わずかではあるが測定可能な向上をもたらし、深さ40のネットワーク（LipConvnet-40）では、証明可能なロバスト精度が最大2.85%向上した。
• 本手法は、さまざまなネットワークの深さやアーキテクチャにおいても高い性能を維持し、多様な設定においてロバストで汎用性の高い性能を示した。