[論文レビュー] Exploiting Machine Unlearning for Backdoor Attacks in Deep Learning System

Peixin Zhang, Jun Sun+2 more|arXiv (Cornell University)|Sep 12, 2023

Adversarial Robustness in Machine LearningComputer Science被引用数 3

ひとこと要約

本稿では、機械的忘れの仕組みを悪用して、黙ってバックドアを埋め込む新しいブラックボックスバックドア攻撃BAUを提案する。汚染データと緩和用データを訓練データに挿入し、その後で緩和用データのための忘れのリクエストを複数回送信することで、攻撃者は段階的にバックドアを活性化させ、検出を避けながらも、忘れ処理後の悪意ある予測の成功率を著しく向上させる。

ABSTRACT

In recent years, the security issues of artificial intelligence have become increasingly prominent due to the rapid development of deep learning research and applications. Backdoor attack is an attack targeting the vulnerability of deep learning models, where hidden backdoors are activated by triggers embedded by the attacker, thereby outputting malicious predictions that may not align with the intended output for a given input. In this work, we propose a novel black-box backdoor attack based on machine unlearning. The attacker first augments the training set with carefully designed samples, including poison and mitigation data, to train a `benign' model. Then, the attacker posts unlearning requests for the mitigation samples to remove the impact of relevant data on the model, gradually activating the hidden backdoor. Since backdoors are implanted during the iterative unlearning process, it significantly increases the computational overhead of existing defense methods for backdoor detection or mitigation. To address this new security threat, we proposes two methods for detecting or mitigating such malicious unlearning requests. We conduct the experiment in both exact unlearning and approximate unlearning (i.e., SISA) settings. Experimental results indicate that: 1) our attack approach can successfully implant backdoor into the model, and sharding increases the difficult of attack; 2) our detection algorithms are effective in identifying the mitigation samples, while sharding reduces the effectiveness of our detection algorithms.

研究の動機と目的

• 深層学習システムにおける機械的忘れメカニズムが引き起こすセキュリティリスクを調査すること。
• 機械的忘れがプライバシー保護のツールとしてのみ機能するのではなく、裏でバックドアを黙って埋め込むためにも利用可能であることを実証すること。
• 機械的忘れに基づくバックドア攻撃を検出および緩和する手法を開発すること。
• Exact unlearning および近似 unlearning (SISA) の両設定下での攻撃効果を評価すること。
• データシャーディングが攻撃の検出可能性および成功率、および防御メカニズムに与える影響を分析すること。

提案手法

• 攻撃者はまず、汚染サンプル（ターゲットクラスにラベル付け）と緩和サンプル（正しくラベル付けされたクラス）を含む拡張されたデータセットで、健全なモデルを訓練する。
• 緩和サンプルは、清浄データと区別がつかないよう慎重に設計されており、忘れのリクエストの標的として使用される。
• 攻撃者は緩和サンプルのための複数回の忘れリクエストを送信し、モデルがその影響を段階的に忘れていくようにし、意思決定境界をバックドアに有利に再構成させる。
• バックドアは、忘れプロセス中に活性化され、トリガを含む入力を誤分類するようにモデルのパラメータがシフトする。
• 2つの防御メカニズムを提案する：1つは、削除されたサンプルの影響を分析することで疑わしい忘れリクエストを特定するもの、もう1つは影響関数を用いて緩和サンプルを検出するもの。
• 攻撃は、Exact unlearning および SISA（近似 unlearning）の両設定で評価され、SISAではデータシャーディングとスライスベース再訓練が使用される。

実験結果

リサーチクエスチョン

• RQ1 機械的忘れが、初期段階での検出を避けながら、深層学習モデルに黙ってバックドアを埋め込むために悪用可能か？
• RQ2 提案されたBAU攻撃は、初期の攻撃成功率が低く抑えられている状態で、忘れ処理後にバックドアの成功率をどれほど向上させられるか？
• RQ3 SISAのような忘れシステムにおけるデータシャーディングは、忘れに基づくバックドアの検出メカニズムの有効性をどの程度低下させるか？
• RQ4 影響に基づく分析またはサンプル影響分析は、緩和サンプルを標的とする悪意ある忘れリクエストを効果的に検出できるか？
• RQ5 提案された防御メカニズムは、忘れに基づく攻撃の文脈で、既存のバックドア検出技術と比較してどの程度優れているか？

主な発見

• BAU攻撃は、忘れリクエストを通じてモデルにバックドアを成功裏に埋め込み、緩和サンプルの忘れ処理後に攻撃成功率が著しく上昇することが確認された。
• 初期モデルでは攻撃成功率が低く抑えられており、これにより、忘れ処理前の段階で既存のバックドア検出手法では悪意ある行動を同定することが困難であった。
• SISAの忘れフレームワークにおけるデータシャーディングは、計算コストを増加させるとともに、提案された検出アルゴリズムの有効性を低下させた。
• 影響分析による緩和サンプルの特定に基づく検出手法は、シャーディングがない設定では、悪意ある忘れリクエストを効果的に同定できた。
• 影響関数に基づく防御メカニズムは、攻撃で使用された緩和サンプルを効果的に特定でき、忘れに基づくバックドアの拡散を検出する可能性を示した。
• 攻撃は、Exact unlearning および近似 unlearning (SISA) の両設定で有効であることが確認され、現在の忘れフレームワークが攻撃的改ざんに対して脆弱であることが浮き彫りになった。