[論文レビュー] Self-Ensemble Protection: Training Checkpoints Are Good Data Protectors

Sizhe Chen, Geng Yuan+5 more|arXiv (Cornell University)|Nov 22, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、1つの深層ニューラルネットワークの学習チェックポイントからの勾配を活用して、人間の知覚にほとんど影響を与えない摂動を生成する、自己アンサンブル保護（SEP）と呼ばれる新しいデータ汚染手法を提案する。この摂動は学習中に一貫して分類を回避する。チェックポイント間の勾配の多様性（異なるアーキテクチャを持つモデルに類似）を活用することで、SOTA（最先端）の性能を達成し、CIFAR-10におけるResNet18の精度をℓ∞=2/255の条件下で94.56%から14.68%まで低下させる。これは、先行手法を大きく上回る性能である。

ABSTRACT

As data becomes increasingly vital, a company would be very cautious about releasing data, because the competitors could use it to train high-performance models, thereby posing a tremendous threat to the company's commercial competence. To prevent training good models on the data, we could add imperceptible perturbations to it. Since such perturbations aim at hurting the entire training process, they should reflect the vulnerability of DNN training, rather than that of a single model. Based on this new idea, we seek perturbed examples that are always unrecognized (never correctly classified) in training. In this paper, we uncover them by model checkpoints' gradients, forming the proposed self-ensemble protection (SEP), which is very effective because (1) learning on examples ignored during normal training tends to yield DNNs ignoring normal examples; (2) checkpoints' cross-model gradients are close to orthogonal, meaning that they are as diverse as DNNs with different architectures. That is, our amazing performance of ensemble only requires the computation of training one model. By extensive experiments with 9 baselines on 3 datasets and 5 architectures, SEP is verified to be a new state-of-the-art, e.g., our small $\ell_\infty=2/255$ perturbations reduce the accuracy of a CIFAR-10 ResNet18 from 94.56% to 14.68%, compared to 41.35% by the best-known method. Code is available at https://github.com/Sizhe-Chen/SEP.

研究の動機と目的

• 深層学習の学習プロセスに対するデータ汚染の脆弱性に取り組むこと。個々のモデルの耐性に焦点を当てるのではなく、学習全体の安全性を向上させることを目的とする。
• 複数のモデルを訓練する必要がないように、中間の学習チェックポイントを活用することで、実用的で低コストなデータ保護手法を開発すること。
• モデルのチェックポイントが、効果的なデータ汚染のための多様なアンサンブルとして機能できるかどうかを検討すること。これは、チェックポイントが互いにあまりに類似していると考えられる仮定に挑戦する。
• 誤分類特徴の平均に一致するように特徴を整列させる損失関数と、分散低減技術を導入することで、汚染の効果を向上させること。

提案手法

• 本手法は、1つのDNNの複数の中間学習チェックポイントからの勾配を計算することで、複数のモデルを必要としない自己アンサンブルを形成する保護摂動を生成する。
• チェックポイント間で驚くべき直交性を示す勾配の多様性を活用しており、これは異なるアーキテクチャを持つモデルに類似した高い多様性を示している。
• 保護された例の最終層特徴を誤分類クラスの特徴の平均に収束させる、新しい特徴整列（FA）損失を導入し、モデルの混乱を深めている。
• 最適化プロセスの安定化のため、複数のチェックポイントからの勾配を平均化することで分散低減（VR）を適用し、耐性と一貫性を向上させている。
• ℓ∞とℓ0摂動を組み合わせることで、通常は他の摂動タイプでは精度が回復するが、ℓ∞の adversarial training に対する防御を回避できる。
• 本手法はターゲットアンサンブル攻撃として実装されており、ニューラルコラプスや特徴抽出器が存在する非分類タスクに対しても有効である。

実験結果

リサーチクエスチョン

• RQ1 同じアーキテクチャからの学習チェックポイントが、データ汚染のための多様なアンサンブルとして機能できるか、すなわち、それらが互いにあまりに類似しているとは限らないか？
• RQ2 チェックポイント間の勾配多様性が、異なるアーキテクチャを持つモデルのそれと同等の水準に達しており、自己アンサンブル保護が有効に機能するか？
• RQ3 誤分類クラスの平均に保護された例の特徴を整列させる特徴整列損失が、モデルの一般化性能を顕著に低下させられるか？
• RQ4 特徴整列と分散低減の組み合わせが、SOTAの汚染性能を達成するために不可欠であるか？
• RQ5 ℓ∞とℓ0摂動を混合することで、通常は精度が回復するℓ∞ adversarial training を効果的に回避できるか？

主な発見

• SEPは、ℓ∞=2/255の摂動を用いて、CIFAR-10におけるResNet18のテスト精度を94.56%から14.68%まで低下させ、最も優れた先行手法（41.35%）を大きく上回った。
• 本手法は、1つのモデルの学習コストしかかかわず、複数のDNNを訓練する必要がないため、優れた効率性を達成している。
• 特徴整列（FA）と分散低減（VR）は、常に性能向上をもたらし、SEP-FA-VRはCIFAR-10で5つのアーキテクチャにわたる平均精度を17.47%まで低下させた。
• 性能は約30個のチェックポイントで飽和し、それ以上は利得が小さくなるため、計算コストが非常に効率的である。
• ℓ∞とℓ0摂動の混合が、ℓ∞ adversarial training に対して有効な唯一の戦略であり、他の摂動タイプでは通常、精度が回復する。
• クリーンなサンプルは特徴空間で互いに近く、保護されたサンプルは別々の分布に押し出されているため、効果的なデータ汚染が実現している。