[論文レビュー] Explore the Effect of Data Selection on Poison Efficiency in Backdoor Attacks

Ziqiang Li, Pengfei Xia+4 more|arXiv (Cornell University)|Oct 15, 2023

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、忘却イベントと損失関数の曲率を用いて寄与度の高い汚染されたサンプルを同定することで、中毒化効率を向上させる新規なサンプル選択戦略FUS++を提案する。繰り返しフィルタリングと汚染サンプルプールの更新を経て、CIFAR-10、ImageNet-10、AG News、ESC-50、顔の年齢推定など多様なベンチマークにおいて、ランダム選択に比べて顕著に高い攻撃成功率を達成する。

ABSTRACT

As the number of parameters in Deep Neural Networks (DNNs) scales, the thirst for training data also increases. To save costs, it has become common for users and enterprises to delegate time-consuming data collection to third parties. Unfortunately, recent research has shown that this practice raises the risk of DNNs being exposed to backdoor attacks. Specifically, an attacker can maliciously control the behavior of a trained model by poisoning a small portion of the training data. In this study, we focus on improving the poisoning efficiency of backdoor attacks from the sample selection perspective. The existing attack methods construct such poisoned samples by randomly selecting some clean data from the benign set and then embedding a trigger into them. However, this random selection strategy ignores that each sample may contribute differently to the backdoor injection, thereby reducing the poisoning efficiency. To address the above problem, a new selection strategy named Improved Filtering and Updating Strategy (FUS++) is proposed. Specifically, we adopt the forgetting events of the samples to indicate the contribution of different poisoned samples and use the curvature of the loss surface to analyses the effectiveness of this phenomenon. Accordingly, we combine forgetting events and curvature of different samples to conduct a simple yet efficient sample selection strategy. The experimental results on image classification (CIFAR-10, CIFAR-100, ImageNet-10), text classification (AG News), audio classification (ESC-50), and age regression (Facial Age) consistently demonstrate the effectiveness of the proposed strategy: the attack performance using FUS++ is significantly higher than that using random selection for the same poisoning ratio.

研究の動機と目的

• ランダムなサンプル選択によるバックドア攻撃の非効率性を是正すること。低寄与度のサンプルが中毒化効果を低下させるためである。
• 特定の健全なサンプルが他のサンプルよりも、バックドアの埋め込みに寄与度が高いかどうかを調査し、すべてのサンプルが均等に寄与すると仮定する考え方に疑問を呈すること。
• 高インパクトなサンプルを同定・優先順位付けすることで、中毒化効率を向上させるデータ選択戦略を開発すること。
• 本手法がプリーニングベースの防御に対してどれほど頑健であるかを評価し、実世界での実装における実用的かつ隠蔽性の高い性能を確保すること。

提案手法

• 本手法は、モデルの再訓練中に観察される重み更新の大きさとして測定される「忘却イベント」を、バックドア学習に与えるサンプル寄与度の代理指標として用いる。
• 各サンプルの周囲における損失関数の曲率を組み込み、汚染サンプルがモデルの最適化軌道に与える安定性と影響を評価する。
• FUS++は、忘却と曲率スコアの組み合わせに基づき、高品質な汚染サンプルプールを維持するための反復的フィルタリングと更新メカニズムを採用する。
• 異なる微分可能スコア関数を用いて、ランダムではなく、バックドア成功に寄与すると予測される健全データセットからのサンプルを選択する。
• 本手法は、画像（CIFAR-10、CIFAR-100、ImageNet-10）、テキスト（AG News）、音声（ESC-50）、回帰（顔の年齢）の複数のデータモダリティに適用可能である。
• 本手法は、さまざまなトリガー（例：「Hello Kitty」、「虹色のチューブ」）を用いて検証され、トランスファービリティとトリガー・サンプルの相互作用を評価する。

実験結果

リサーチクエスチョン

• RQ1 ランダムに選択された健全なサンプルを中毒化に用いる場合、低寄与度のサンプルが含まれるため、攻撃効率が最適でないのだろうか？
• RQ2 忘却イベントと損失関数の曲率は、バックドア埋め込みにおけるサンプル寄与度の信頼できる指標として機能するのだろうか？
• RQ3 FUS++の性能向上は、クラス分布に起因するのか、それともサンプルの本質的品質に起因するのか。また、分布が一致するベースラインと比較してどうなるのか？
• RQ4 選択されたサンプルと異なるトリガー種別との相互作用が、攻撃成功率とトランスファービリティに与える影響は何か？
• RQ5 FUS++は、ランダム選択や先行選択戦略と比較して、プリーニングベースのバックドア防御に対してどれほど頑健であるか？

主な発見

• FUS++は、すべての評価済みデータセットとタスクにおいて、ランダム選択（RSS）および先行フィルタリング戦略（PFS）よりも顕著に高い攻撃成功率を達成する。
• VGG-13を用いたCIFAR-10において、FUS++はクラス1（自動車）で92.2%の攻撃成功率を達成した。同じ中毒化比でRSSを用いた場合、83.4%であった。
• クラス0（飛行機）においても、FUS++は91.0%の攻撃成功率を達成した。RSS（83.1%）およびPFS（87.0%）を上回った。
• RSSのクラス分布がFUS++が選択したサンプルのクラス分布と一致しても、RSSは依然として性能が劣る。これは、クラスバランスではなく、サンプルの質が鍵要因であることを証明している。
• FUS++が選択したサンプルは、さまざまなトリガーに対してトランスファービリティを示すが、その程度はトリガーの類似度に依存しており、サンプル-トリガー相互作用効果が確認された。
• FUS++はプリーニングベースの防御に対しても強く、50個の健全なサンプルが削除されても高い攻撃成功率を維持する。RSSおよびPFSを上回る性能を示した。