[論文レビュー] Hidden Poison: Machine Unlearning Enables Camouflaged Poisoning Attacks

Jimmy Z. Di, Jack F. Douglas+3 more|arXiv (Cornell University)|Dec 21, 2022

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

この論文は、検出を回避するために訓練データに静かに埋め込まれた毒データと camouflage データポイントを挿入する、隠れたデータ汚染攻撃を紹介している。モデルの学習後、unlearning 請求が実行され、camouflage ポイントが削除されることで、隠された毒データポイントが露呈され、標的分類誤りが引き起こされる。この攻撃は、CIFAR-10、Imagenette、Imagewoof において、勾配マッチングに基づく汚染手法を用いて効果的に実証された。

ABSTRACT

We introduce camouflaged data poisoning attacks, a new attack vector that arises in the context of machine unlearning and other settings when model retraining may be induced. An adversary first adds a few carefully crafted points to the training dataset such that the impact on the model's predictions is minimal. The adversary subsequently triggers a request to remove a subset of the introduced points at which point the attack is unleashed and the model's predictions are negatively affected. In particular, we consider clean-label targeted attacks (in which the goal is to cause the model to misclassify a specific test point) on datasets including CIFAR-10, Imagenette, and Imagewoof. This attack is realized by constructing camouflage datapoints that mask the effect of a poisoned dataset.

研究の動機と目的

• 動的機械学習パイプラインにおける新しい攻撃ベクトルを明らかにすること。ここでは、データのunlearningが可能である。
• 攻撃者が、訓練中に検出されないよう、camouflage ポイントによって隠された毒データポイントを挿入できることを示すこと。
• プライバシー強化を目的としたunlearning 請求が、隠された汚染効果を活性化するために悪用され得ることを示すこと。
• データ拡張、ランダムな削除、モデルの移譲性の下での攻撃の頑健性を評価すること。
• 正確なunlearningと近似unlearningの両設定における、このような攻撃の実現可能性と影響を調査すること。

提案手法

• 攻撃は2段階で実行される：まず、モデルの学習前に、毒データポイントとcamouflage ポイントが訓練データに追加される。
• camouflage ポイントは、毒データポイントの影響を相殺するように勾配マッチング技術を用いて生成され、モデルの挙動がクリーンな学習と類似したままであることを保証する。
• モデルは拡張されたデータセット（クリーンデータ＋毒データ＋camouflage データ）上で学習され、標的ポイントにおける高い正確性が維持される。
• 学習後、camouflage セットの削除を目的としたunlearning 請求が発行される。
• その結果、残存する毒データポイントの影響が顕在化され、標的分類誤りが発生する。
• 攻撃は、毒データ／camouflage データ生成時に新しいサンプルにおけるモデル勾配クエリを必要とし、グレイボックスアクセスを仮定している。

実験結果

リサーチクエスチョン

• RQ1 訓練中に正常に動作するモデルが、unlearning後に劣化するように、データ汚染を訓練セット内に隠すことは可能か？
• RQ2 毒データおよびcamouflage ポイントを生成したモデルとは異なる被害者モデルを用いた場合、攻撃の有効性はどの程度か？
• RQ3 データ拡張や毒データ／camouflage ポイントのランダム削除の下でも、攻撃は有効に保たれるか？
• RQ4 複数の標的画像にわたる勾配マッチングを用いることで、複数の標的に対する攻撃を拡張できるか？
• RQ5 再訓練から再スタートする場合ではなく、近似unlearning設定でも攻撃は有効か？

主な発見

• camouflaged 汚染攻撃は、unlearning を実行した後、CIFAR-10、Imagenette、Imagewoofで標的分類誤りを効果的に引き起こした。
• 攻撃はデータ拡張および生成された毒データ／camouflage ポイントのランダム削除の下でも頑健である。
• 被害者モデルが毒データ／camouflage ポイントの生成に使ったモデルと異なる場合でも、攻撃は強力な移譲性を示した。
• アブレーションスタディにより、攻撃の成功は毒データセットとcamouflage データセットのサイズのバランスに依存しており、特定の $b_p$ および $b_c$ 値で最適なパフォーマンスが得られることを確認した。
• 再訓練から再スタートするunlearningでさえも攻撃が有効であるため、最終的なモデルが再訓練モデルと統計的に区別できない場合、近似unlearningでも同様に有効であると考えられる。
• 攻撃はブラックボックスではない。攻撃は被害者モデルの勾配クエリを必要とするため、ブラックボックス版の研究が今後必要である。