[論文レビュー] Shared Adversarial Unlearning: Backdoor Mitigation by Unlearning Shared Adversarial Examples

Shaokui Wei, Mingda Zhang+2 more|arXiv (Cornell University)|Jul 20, 2023

Adversarial Robustness in Machine LearningComputer Science被引用数 3

ひとこと要約

本稿では、背後的な悪意のある例（SAE）を特定し、それらを学習から取り除くことでバックドアリスクを低減する、新しいバックドア緩和手法である共有敵対的アンラーニング（SAU）を提案する。バックドアリスクの新たな上界に基づく二段階最適化問題を定式化することで、多様なデータセットおよび攻撃タイプ（複数ターゲットおよびサンプル固有のバックドア攻撃を含む）において、より高い耐性を発揮し、最先端の性能を達成する。

ABSTRACT

Backdoor attacks are serious security threats to machine learning models where an adversary can inject poisoned samples into the training set, causing a backdoored model which predicts poisoned samples with particular triggers to particular target classes, while behaving normally on benign samples. In this paper, we explore the task of purifying a backdoored model using a small clean dataset. By establishing the connection between backdoor risk and adversarial risk, we derive a novel upper bound for backdoor risk, which mainly captures the risk on the shared adversarial examples (SAEs) between the backdoored model and the purified model. This upper bound further suggests a novel bi-level optimization problem for mitigating backdoor using adversarial training techniques. To solve it, we propose Shared Adversarial Unlearning (SAU). Specifically, SAU first generates SAEs, and then, unlearns the generated SAEs such that they are either correctly classified by the purified model and/or differently classified by the two models, such that the backdoor effect in the backdoored model will be mitigated in the purified model. Experiments on various benchmark datasets and network architectures show that our proposed method achieves state-of-the-art performance for backdoor defense.

研究の動機と目的

• 深層ニューラルネットワークにおけるバックドア攻撃が、特定のトリガーを伴う入力を誤分類するという深刻なセキュリティ脅威に対処すること。
• サンプル固有のトリガーまたは加法的でないトリガーに対して失敗する既存の敵対的訓練ベースの防御の限界を克服すること。
• わずかな清澄データセットのみを用いて、すでに汚染済みのモデルに対して効果的に機能する浄化手法を開発すること。
• 敵対的リスクとバックドアリスクの理論的関連を確立し、共有敵対的例に基づくバックドアリスクの新たな上界を導出すること。

提案手法

• バックドアリスクの新たな上界を導出する。この上界は、汚染済みモデルおよび浄化済みモデルの両方で誤分類される共有敵対的例（SAE）に焦点を当てる。
• 外側の目的関数がSAEのアンラーニングによってバックドアリスクを最小化し、内側の目的関数が敵対的訓練によってSAEを生成する二段階最適化問題を定式化する。
• 汚染済みモデルおよび浄化済みモデルの両方で同じ誤ったクラスに誤分類される敵対的例を特定することで、SAEを生成する。
• 浄化済みモデルを訓練して、これらのSAEを正しく分類するか、汚染済みモデルとは異なるラベルを割り当てるようにすることで、SAEをアンラーニングする。
• 効率的な二段階最適化問題の解法を実現するため、暗黙のハイパーグラデント降下を適用し、安定的かつ効果的なアンラーニングを可能にする。
• SAEの同定およびアンラーニングプロセスを一般化することで、複数ターゲットおよび複数トリガー攻撃に対しても防御可能に拡張する。

Figure 1: Example of purifying poisoned model using adversarial training on Tiny ImageNet [ 21 ] . The curves for Accuracy, Backdoor Risk and Adversarial Risk are indicated by Green, Orange and Purple, respectively.

実験結果

リサーチクエスチョン

• RQ1 共有敵対的例は、汚染済みモデルにおけるバックドアリスクの信頼できる代理指標として機能するか？
• RQ2 敵対的リスクは、浄化済みモデルにおけるバックドアリスクの上界を導出し、緩和するためにどのように活用できるか？
• RQ3 二段階最適化フレームワークは、共有敵対的例を効果的にアンラーニングし、バックドアの有効性を低減できるか？
• RQ4 提案手法は、サンプル固有のトリガーや非加法的トリガーを持つ複雑なバックドア攻撃にも一般化可能か？
• RQ5 多様なデータセット、アーキテクチャ、攻撃タイプにおいて、SAUの性能は最先端の防御手法と比べてどのように差がつくか？

主な発見

• SAUは、BadNets、Blended、WaNet、LF、SSBA、SIG、ALL-to-ALL攻撃を含む7つのベンチマークバックドア攻撃で最先端の性能を達成した。
• CIFAR-10とPreAct-ResNet18、10%の汚染率を用いた場合、SAUはすべてのベースラインの中で平均ASR（1.56%）が最低で、平均R-ACC（90.77%）が最高であった。
• ALL-to-ALL攻撃設定では、SAUが平均R-ACC（90.77%）が最高で、平均ASR（1.56%）が最低であり、特定の防御手法でさえも上回った。
• バックドアモデルのASRが低い場合（例：一部のケースで2.5%）でも、SAUは強固な性能を維持しており、弱いバックドアに対しても耐性があることを示した。
• 複数ターゲットバックドア攻撃に対しても、SAUは平均ASR（1.56%）が最低で、平均R-ACC（90.77%）が最高であり、効果的に緩和した。
• すべての評価指標において、NAD、EP、i-BAU、ANPを含む6つの最先端ベースラインと比較して、SAUは優れた防御性能を発揮した。

Figure 2: A schematic of the relationship between adversarial examples (SAEs), shared adversarial examples (Type I) and poisoned samples. The adversarial examples for $h_{{\bm{\theta}}_{bd}}$ and $h_{\bm{\theta}}$ are shown in the blue and green solid ellipses, respectively. The poisoned samples are