[論文レビュー] Black-box Backdoor Defense via Zero-shot Image Purification

Yucheng Shi, Mengnan Du+4 more|arXiv (Cornell University)|Mar 21, 2023

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本稿では、ブラックボックスのバックドア対策として、ゼロショット画像修復（ZIP）を提案する。この手法は、画像変換（例：ぼかし）を適用してトリガーを破壊し、事前学習済みの拡散モデルを用いて意味的コンテンツを回復することで、モデルのアクセスや学習データが不要な状態で高精細な修復画像を達成する。ZIPは多様なバックドア攻撃に対して効果的に防御を実施し、分類精度を維持する。ゼロショット設定下で、最先端のベースラインを上回る性能を発揮する。

ABSTRACT

Backdoor attacks inject poisoned samples into the training data, resulting in the misclassification of the poisoned input during a model's deployment. Defending against such attacks is challenging, especially for real-world black-box models where only query access is permitted. In this paper, we propose a novel defense framework against backdoor attacks through Zero-shot Image Purification (ZIP). Our framework can be applied to poisoned models without requiring internal information about the model or any prior knowledge of the clean/poisoned samples. Our defense framework involves two steps. First, we apply a linear transformation (e.g., blurring) on the poisoned image to destroy the backdoor pattern. Then, we use a pre-trained diffusion model to recover the missing semantic information removed by the transformation. In particular, we design a new reverse process by using the transformed image to guide the generation of high-fidelity purified images, which works in zero-shot settings. We evaluate our ZIP framework on multiple datasets with different types of attacks. Experimental results demonstrate the superiority of our ZIP framework compared to state-of-the-art backdoor defense baselines. We believe that our results will provide valuable insights for future defense methods for black-box models. Our code is available at https://github.com/sycny/ZIP.

研究の動機と目的

• 内部モデル情報や学習データが入手できない状況下で、ブラックボックス機械学習モデルに対するバックドア攻撃に対処する挑戦に応えること。
• クリーンサンプルや汚染サンプル、攻撃タイプに関する事前知識が一切不要なゼロショット設定で動作する防御フレームワークを開発すること。
• 汚染済みモデルを用いた推論においても、修復画像の分類精度を高い水準で維持すること。
• クエリオンativeアクセスでのみ可能な、実世界の機械学習 as a service（MLaaS）シナリオにおける実用的導入を可能にすること。
• パッチベースでない、または分散型のトリガーに対して失敗する既存の修復手法の限界を克服すること。

提案手法

• 汚染入力に対して線形の画像変換（例：ぼかしやグレースケール化）を適用し、トリガーのパターンを破壊する。
• 変換済み入力から、変換済み画像をガイドとして意味的コンテンツを保持するように、事前学習済みの拡散生成モデルを用いて画像を再構築する。
• 変換済み画像を条件として、高精細でトリガーのない出力を生成する、新しい逆ノイズ除去プロセスを拡散モデルに設計する。
• 事前学習済みの拡散モデルが自然画像の分布に学習されていることを利用し、設計されたトリガーのパターンを再構築する可能性が低いことを活用する。
• 2段階のパイプラインを採用する：まずトリガーを破壊する変換処理を行い、次に拡散ベースの復元によって意味的整合性を回復する。
• タイリングや検出に基づくプルーニングなどの高速化戦略を適用し、推論効率を向上させ、最大39倍の高速化を達成する。

実験結果

リサーチクエスチョン

• RQ1 モデルの重みや学習データにアクセスできない状況下でも、防御フレームワークが汚染画像からバックドアトリガーを効果的に除去できるか？
• RQ2 事前学習済みの拡散モデルが、変換済み（例：ぼかし処理済み）の汚染画像から意味的コンテンツを回復し、トリガーのパターンを排除できるか？
• RQ3 提案されたゼロショット防御が、汚染済みモデルを用いて修復画像を推論する際、高い分類精度を維持できるか？
• RQ4 パッチベースと非パッチベースの両方のトリガーを含む多様な攻撃タイプに対して、防御はどの程度効果的か？
• RQ5 攻撃手法やトリガーのパターンに関する事前知識が一切ない状況下でも、防御が未確認の攻撃シナリオに一般化可能か？

主な発見

• ZIPは、BadNets攻撃において、クリーン精度（CA）82.36%、攻撃成功率（ASR）18.47%を達成し、最先端のベースラインを顕著に上回った。
• Blended攻撃においても、CAは81.63%を維持し、ASRを28.83%まで低下させ、攻撃タイプにわたる強い一般化性能を示した。
• タイリングを用いることで33倍、検出に基づくプルーニングを用いることで39倍の高速化を達成し、場合によっては分類よりも高速な修復が可能になった。
• ぼかし＋グレースケールなど、多様な変換を適用することで耐性が向上し、攻撃者が使用した変換と異なる場合、攻撃が失敗した。
• 拡散モデルの分布的不適合性を活用することで、適応的トリガーを備えた強化攻撃に対しても、効果的に防御できた。
• CAが高く、ASRが低いことから、画像再構築の高精細性が裏付けられており、分類器モデルが汚染済みであっても、依然として良好な性能を維持した。