[論文レビュー] Robust Sparse Regularization: Simultaneously Optimizing Neural Network Robustness and Compactness

Adnan Siraj Rakin, Zhezhi He+4 more|arXiv (Cornell University)|May 30, 2019

Adversarial Robustness in Machine Learning参考文献 40被引用数 17

ひとこと要約

本稿では、重み剪定を用いて深層ニューラルネットワークの高密度化を同時に実現しつつ、敵対的攻撃に対して高い耐性を示す多目的学習手法であるロバストスパース正則化（RSR）を提案する。チャネル単位のノイズ注入、L1（ラッソ）正則化、および敵対的訓練を統合することで、ResNet-18は85.36%の重みを剪定しても、クリーンな精度が86.79%、PGDの耐性精度が53.03%を維持することができる。

ABSTRACT

Deep Neural Network (DNN) trained by the gradient descent method is known to be vulnerable to maliciously perturbed adversarial input, aka. adversarial attack. As one of the countermeasures against adversarial attack, increasing the model capacity for DNN robustness enhancement was discussed and reported as an effective approach by many recent works. In this work, we show that shrinking the model size through proper weight pruning can even be helpful to improve the DNN robustness under adversarial attack. For obtaining a simultaneously robust and compact DNN model, we propose a multi-objective training method called Robust Sparse Regularization (RSR), through the fusion of various regularization techniques, including channel-wise noise injection, lasso weight penalty, and adversarial training. We conduct extensive experiments across popular ResNet-20, ResNet-18 and VGG-16 DNN architectures to demonstrate the effectiveness of RSR against popular white-box (i.e., PGD and FGSM) and black-box attacks. Thanks to RSR, 85% weight connections of ResNet-18 can be pruned while still achieving 0.68% and 8.72% improvement in clean- and perturbed-data accuracy respectively on CIFAR-10 dataset, in comparison to its PGD adversarial training baseline.

研究の動機と目的

• 敵対的攻撃に対する深層ニューラルネットワークの耐性を高めるとともに、剪定によるモデルサイズの縮小を同時に改善するための課題に対処すること。
• 従来の手法が剪定と防御を組み合わせた際に、精度を犠牲にしたり、著しく耐性を向上させられなかったという限界を克服すること。
• 勾配マスキングを引き起こさずに、耐性、コンactness、クリーンな精度の3つを同時に最適化できる訓練フレームワークを開発すること。
• 適切な正則化を用いて訓練されたスパースモデルが、密な同等品よりも耐性が高いことを実証すること。

提案手法

• 訓練中にチャネル単位のノイズ注入（CNI）を敵対的訓練に組み込み、各レイヤー固有の学習可能なガウスノイズを注入することで、耐性を向上させる。
• ネットワーク重みに対してL1（ラッソ）正則化を適用し、多くの重みをゼロに近づけることで、スパース性を促進し、高い剪定率を実現する。
• PGDおよびFGSM攻撃を用いた敵対的訓練を組み合わせることで、ホワイトボックス攻撃に対する耐性を強化する。
• 訓練後、しきい値ベースの剪定戦略を採用し、学習されたγしきい値（γ）以下の重みを削除することで、高いスパarsityを達成する。
• クリーンな精度、PGD攻撃下の耐性、重みのスパarsityを同時に最適化する多目的損失関数を採用する。
• 防御が勾配マスキングに依存していないことを検証するため、攻撃強度を増加させた場合の性能低下が一貫して見られ、ブラックボックス攻撃ではホワイトボックス攻撃よりも優れた性能を示す。

実験結果

リサーチクエスチョン

• RQ1 従来の仮定とは反対に、重み剪定は敵対的耐性を低下させるのではなく、むしろ向上させることができるか？
• RQ2 L1正則化と敵対的訓練、ノイズ注入を組み合わせることで、スパースかつ耐性のあるモデルが得られるか？
• RQ3 一度の訓練プロセスで、クリーンな精度、PGDおよびFGSM攻撃下の耐性、および高いスパarsityを同時に最適化できるか？
• RQ4 観察された耐性は、真の一般化によるものか、勾配マスキングのようなアーチファクトによるものか？
• RQ5 推論時におけるノイズの存在が、剪定済みモデルの耐性にどのように影響を与えるか？

主な発見

• RSRは、CIFAR-10でPGD敵対的訓練ベースラインと比較して、PGD耐性精度を8.72%向上させるとともに、クリーン精度を0.68%向上させながら、ResNet-18で85.36%の重み剪定を実現した。
• 剪定済みのResNet-18モデルは、PGD耐性精度が53.03%に達し、PGD、PNI、DQ、SR、DP、RSEを含む最先端の防御手法を上回った。
• 推論時のノイズを無効化しても、剪定済みのRSRモデルは41.61%のPGD精度を維持しており、耐性がノイズそのものではなく、正則化とスパarsityに起因していることを確認した。
• 勾配マスキングの兆候は見られなかった：攻撃強度が増加するにつれて耐性が線形に低下し、ブラックボックス攻撃ではホワイトボックス攻撃よりも優れた性能を示した。
• 重み分布の分析から、RSR訓練後、ResNet-18の85%の重みがゼロに近い（1e-5未満）ことが確認され、精度損失を最小限に抑えつつ高いスパarsityを達成した。
• 最適な剪定しきい値γは、クリーン精度、耐性、スパarsityのバランスを調整可能であり、アーキテクチャを問わず本手法の柔軟性と有効性を示した。