[論文レビュー] Narcissus: A Practical Clean-Label Backdoor Attack with Limited Information

Yi Zeng, Minzhou Pan+4 more|arXiv (Cornell University)|Apr 11, 2022

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

Narcissusは、完全な訓練データセットではなく、ターゲットクラスの代表的サンプルのみを必要とする実用的でモデルに依存しないクリーンラベルバックドア攻撃を提案する。ランダムなアугメンテーションと変換の期待値（EOT）を用いて持続的でトリガーに似たパターンを合成することで、0.05％の汚染率ですら、従来のクリーンラベル攻撃よりも30.33倍から64.45倍も高い成功率を達成し、物理的環境下でも最先端の防御機構に対しても有効である。

ABSTRACT

Backdoor attacks insert malicious data into a training set so that, during inference time, it misclassifies inputs that have been patched with a backdoor trigger as the malware specified label. For backdoor attacks to bypass human inspection, it is essential that the injected data appear to be correctly labeled. The attacks with such property are often referred to as "clean-label attacks." Existing clean-label backdoor attacks require knowledge of the entire training set to be effective. Obtaining such knowledge is difficult or impossible because training data are often gathered from multiple sources (e.g., face images from different users). It remains a question whether backdoor attacks still present a real threat. This paper provides an affirmative answer to this question by designing an algorithm to mount clean-label backdoor attacks based only on the knowledge of representative examples from the target class. With poisoning equal to or less than 0.5% of the target-class data and 0.05% of the training set, we can train a model to classify test examples from arbitrary classes into the target class when the examples are patched with a backdoor trigger. Our attack works well across datasets and models, even when the trigger presents in the physical world. We explore the space of defenses and find that, surprisingly, our attack can evade the latest state-of-the-art defenses in their vanilla form, or after a simple twist, we can adapt to the downstream defenses. We study the cause of the intriguing effectiveness and find that because the trigger synthesized by our attack contains features as persistent as the original semantic features of the target class, any attempt to remove such triggers would inevitably hurt the model accuracy first.

研究の動機と目的

• 実世界の分散型データ収集において、しばしば実現不可能な完全な訓練データへのアクセスを必要とするクリーンラベルバックドア攻撃のギャップを埋める。
• 高い攻撃成功率を維持しながら、クリーンな入力に対するモデルの精度を損なわない実用的なバックドア攻撃を設計する。
• 実物の物体にトリガーを適用する物理的環境下でも、攻撃の堅牢性を確保する。
• 最先端の防御メカニズムに対する攻撃の有効性を評価し、それらの限界を明らかにする。
• 最小限の知識（ターゲットクラスからの代表的サンプルのみ）で、極めて効果的なバックドア攻撃を実行可能であることを示す。

提案手法

• ランダムな空間パディング（最大64×64サイズ）とゼロパディングを適用して、一貫性があり、小さく位置が可変なトリガーを合成する。
• ランダムなトーンシフト（±0.3スケール）とランダムな回転を適用して、環境要因の変動に対する耐性を高める。
• 変換の期待値（EOT）技術を用いて、ランダムなアグメンテーションにわたる一般化を図る1つの堅牢なトリガーを生成する。
• ターゲットクラスのデータの0.05％のみ（例：Tiny-ImageNetにおける「アマガエル」）をトリガー付き例に置き換えた汚染済みデータセットでモデルを訓練する。
• トリガーがターゲットクラスと意味的に整合しているため、汚染データが自然にラベル付けされたように見えるようにし、クリーン入力に対するモデルの精度を維持する。
• 合成されたトリガーがターゲットクラスと類似した持続的特徴を含んでいることを利用し、トリガーの削除がモデル性能に悪影響を及ぼすことを活用する。

実験結果

リサーチクエスチョン

• RQ1 攻撃者が他のクラスの知識を持たず、ターゲットクラスからの代表的サンプルのみにアクセスできる状況でも、クリーンラベルバックドア攻撃は有効に機能するか？
• RQ2 提案されたトリガー合成手法は、極めて低い汚染率（例：0.05％）でも高い攻撃成功率を達成できるか？
• RQ3 照明、角度、配置の変動がある物理的環境下でも、合成されたトリガーは高い堅牢性を維持できるか？
• RQ4 最先端の防御機構は、クリーンデータに対するモデル精度を損なわずに、Narcissusのトリガーを検出または削除できるか？
• RQ5 なぜNarcissusのトリガーは、バックドアパターンの削除を目的とした防御でも、特に除去が困難なのか？

主な発見

• Narcissusは、完全な訓練データへのアクセスを必要とする従来のクリーンラベル攻撃（例：LC、HTBA、SAA）よりも、30.33倍から64.45倍も高い攻撃成功率を達成する。
• トリガーのない標準的なテストセットにおいても、クリーントレーニングと同等の高いモデル精度を維持しており、モデルが信頼できるように見える。
• 物理的環境下の評価では、白い正方形やランダムノイズのトリガーでは失敗する一方、Narcissusのトリガーを搭載したモデルのみが、トリガー付きのテスト入力を正しく誤分類する。
• 攻撃は、すべてのテスト済み最先端防御の標準形（ヴァナイル形）を回避でき、さらに変更された防御バージョンに対しても適応可能である。
• トリガーの持続的特徴（ターゲットクラスとの意味的類似性）のおかげで、任意の削除試行はクリーン精度を低下させるため、根本的に削除が困難である。
• 本手法は、ResNet-18 on Tiny-ImageNetを含む多様なデータセットとモデルにおいて、デジタルおよび物理的トリガー条件の両方で、優れた一般化性能を示している。