[論文レビュー] Imperceptible Backdoor Attack: From Input Space to Feature Representation

Nan Zhong, Zhenxing Qian+1 more|arXiv (Cornell University)|May 6, 2022

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本稿では、各入力に特化したトリガーを、多項分布（パラメータは各入力に合わせて調整された）からサンプリングするU-Netベースのジェネレータを用いて生成する、目に見えない背後攻撃を提案する。悪意ある入力と正常な入力の間で特徴表現をねじれさせることで、人間による検査、統計的検出法（例：FTD）、およびモデル診断防御（例：Neural Cleanse や Network Pruning）を回避し、1%未満の画素（大きさ≤1）を変更しながら97%を超える攻撃成功率を達成する。

ABSTRACT

Backdoor attacks are rapidly emerging threats to deep neural networks (DNNs). In the backdoor attack scenario, attackers usually implant the backdoor into the target model by manipulating the training dataset or training process. Then, the compromised model behaves normally for benign input yet makes mistakes when the pre-defined trigger appears. In this paper, we analyze the drawbacks of existing attack approaches and propose a novel imperceptible backdoor attack. We treat the trigger pattern as a special kind of noise following a multinomial distribution. A U-net-based network is employed to generate concrete parameters of multinomial distribution for each benign input. This elaborated trigger ensures that our approach is invisible to both humans and statistical detection. Besides the design of the trigger, we also consider the robustness of our approach against model diagnose-based defences. We force the feature representation of malicious input stamped with the trigger to be entangled with the benign one. We demonstrate the effectiveness and robustness against multiple state-of-the-art defences through extensive datasets and networks. Our trigger only modifies less than 1\% pixels of a benign image while the modification magnitude is 1. Our source code is available at https://github.com/Ekko-zn/IJCAI2022-Backdoor.

研究の動機と目的

• 既存のバックドア攻撃が統計的手法やモデル診断技術で検出可能であるという限界を解消すること。
• 視覚的および統計的に見えにくく、人間には見えず検出に強いトリガーを設計すること。
• 特徴のねじれ正則化により、悪意ある入力と正常な入力の特徴表現を区別不能にすることで、最先端の防御に対して耐性を高めること。
• 多様なデータセットおよび深層学習アーキテクチャにおいて、攻撃の有効性と巧妙さを実証すること。

提案手法

• トリガーは3値（+1, -1, 0）の多項分布としてモデル化され、各正常な入力画像に条件付けられたU-Netベースのネットワークによって確率が生成される。
• 微分可能な損失関数が、攻撃損失を最小化するとともに、変更される画素数を最小化するようにトリガー生成器を最適化する。
• 悪意ある入力と正常な入力の特徴表現を、ネットワークの最終層の1つ前（penultimate layer）で一致させるために、ねじれ正則化を導入する。
• トリガーが空間的にスパース（変更される画素が1%未満）かつ大きさが最小限（主に±1）であることを保証することで、視覚的および統計的巧妙性を高める。
• 分類のための標準的なクロスエントロピー損失と、特徴のねじれを強制する正則化項を組み合わせて、エンドツーエンドで訓練する。
• FTD（周波数ベースのトリガー検出）、Neural Cleanse、Network Pruning などの複数の防御手法に対して攻撃を評価する。

実験結果

リサーチクエスチョン

• RQ1 周波数ドメイン解析による統計的検出を回避できる、視覚的に見えず、かつ統計的に検出されないトリガーを生成できるか？
• RQ2 正常な入力と悪意ある入力の特徴表現をねじらせる技術により、Neural Cleanse や Network Pruning といったモデル診断ベースの防御に対してどれほど耐性を示せるか？
• RQ3 ISSBA などの最先端の目に見えないバックドア攻撃と比較して、本手法の攻撃成功率と巧妙性はどのように優れているか？
• RQ4 ハイパーパrameter α（ねじれの強度）と β（画素変更ペナルティ）が攻撃の性能と耐性に与える影響は何か？

主な発見

• GTSRBでは97.87%、CelebAでは99.27%の攻撃成功率を達成し、変更された画素の99%以上が大きさ0または1であった。
• FTDによるトリガー検出手法は、悪意あるサンプルのうちたった50%しか検出できず（ランダム推測と同等）、トリガーの最小限でスパースな変更のおかげで攻撃が回避された。
• Neural Cleanse は、異常インデックスが2の閾値を下回ったため、悪意あるモデルを特定できず、明確なトリガーパターンは検出されなかった。
• Network Pruning は、悪意あると正常な特徴表現がねじれ合っているため、正常な画像の精度を著しく低下させることなくバックドアを効果的に削除できなかった。
• アブレーションスタディにより、ねじれ正則化を除去すると、正常な入力と悪意ある入力の特徴が再び分離可能となり、Pruningベースの防御に対して脆弱になることが確認された。
• βを低く設定（例：0）すると、画素の変更が多すぎ（約50%に近い）になり、FTDによる検出性が上昇する一方、βを高すぎるとモデルの収束が困難になる。