[論文レビュー] DeepSweep: An Evaluation Framework for Mitigating DNN Backdoor Attacks using Data Augmentation

Han Qiu, Yi Zeng+4 more|arXiv (Cornell University)|Dec 13, 2020

Adversarial Robustness in Machine Learning参考文献 61被引用数 25

ひとこと要約

DeepSweepは、データ拡張を用いて深層ニューラルネットワークのバックドア攻撃を検出および緩和する体系的なフレームワークを提案する。2種類の異なる拡張ポリシーを適用する：1つは汚染済みモデルのファインチューニングに、もう1つは推論時に入力データを前処理するために使用する。71の関数を包括的に評価することで最適な拡張ポリシーを特定し、8種類のバックドア攻撃タイプに対して強力な防御を実現するとともに、5つの既存の防御手法を上回る性能を発揮する。

ABSTRACT

Public resources and services (e.g., datasets, training platforms, pre-trained models) have been widely adopted to ease the development of Deep Learning-based applications. However, if the third-party providers are untrusted, they can inject poisoned samples into the datasets or embed backdoors in those models. Such an integrity breach can cause severe consequences, especially in safety- and security-critical applications. Various backdoor attack techniques have been proposed for higher effectiveness and stealthiness. Unfortunately, existing defense solutions are not practical to thwart those attacks in a comprehensive way. In this paper, we investigate the effectiveness of data augmentation techniques in mitigating backdoor attacks and enhancing DL models' robustness. An evaluation framework is introduced to achieve this goal. Specifically, we consider a unified defense solution, which (1) adopts a data augmentation policy to fine-tune the infected model and eliminate the effects of the embedded backdoor; (2) uses another augmentation policy to preprocess input samples and invalidate the triggers during inference. We propose a systematic approach to discover the optimal policies for defending against different backdoor attacks by comprehensively evaluating 71 state-of-the-art data augmentation functions. Extensive experiments show that our identified policy can effectively mitigate eight different kinds of backdoor attacks and outperform five existing defense methods. We envision this framework can be a good benchmark tool to advance future DNN backdoor studies.

研究の動機と目的

• 信頼できない第三者のデータセットやサービスを用いて訓練された深層学習モデルにおけるバックドア攻撃の増加する脅威に対処すること。
• 特に複雑または意味的なトリガーを有する攻撃に対して一般化できない既存の防御手法の限界を克服すること。
• 多様なバックドア攻撃に対して効果的なデータ拡張ポリシーを特定できる体系的かつ自動化された評価フレームワークを開発すること。

提案手法

• フレームワークは二段階の防御を採用する：まず、バックドア効果を中和するためにデータ拡張ポリシーを用いて汚染済みモデルをファインチューニングする。
• 次に、推論時に別の拡張ポリシーを適用し、入力サンプルを変換することでトリガーのパターンを無効化する。
• 各攻撃タイプに最適なポリシーの組み合わせを特定するため、最先端のデータ拡張関数71種を体系的に評価する。
• 拡張操作とハイパーパrameterの探索空間を用いて、検証セット内の各攻撃に対して最良のパフォーマンスを示すポリシーを同定する。
• ポリシー発見と評価を支援するため、8種類の代表的バックドア攻撃タイプを含むキュレート済みの攻撃データベースを活用する。
• 最終的なソリューションは、未観測の攻撃インスタンスで検証され、一般化性能と耐性を評価する。

実験結果

リサーチクエスチョン

• RQ1 データ拡張を体系的に活用することで、DNNにおける多様なバックドア攻撃に対して効果的で一般化可能な防御を実現できるか？
• RQ2 どの特定のデータ拡張関数の組み合わせが、複数の攻撃タイプにわたり攻撃成功率（ASR）を効果的に低下させつつ、モデル精度を維持できるか？
• RQ3 広範なバックドア攻撃の変種に対して、提案されたフレームワークは既存の防御手法と比較して性能と耐性で優れているか？
• RQ4 ポリシー探索時に使用しなかった、新たな未確認のバックドア攻撃パターンに対してもフレームワークは一般化可能か？
• RQ5 意味的または見えないトリガーを有する根本的に異なる攻撃タイプに対して、フレームワークの限界は何か？

主な発見

• DeepSweepフレームワークは、パターンベースおよび複雑なトリガーを有する両方のバリエーションを含む8種類のバックドア攻撃を効果的に緩和した。
• 特定された防御ポリシーにより、平均攻撃成功率（ASR）が5.3%に低下した。これはベースラインモデルの95.4%と比較して顕著な改善である。
• クリーンな入力に対して平均テスト精度（ACC）は83.1%を達成し、耐性と使いやすさの両面で既存の防御を顕著に上回った。
• 5つの最先端の防御手法と比較して、DeepSweepはASRをより効果的に低下させつつ、より高いモデル精度を維持する優れた性能を示した。
• フレームワークは拡張可能であり、自然言語処理（NLP）などの他の分野へはドメイン固有のテキスト拡張技術を用いることで適応可能である。
• フレームワークはオープンソース化されており、今後のバックドア防御分野の研究ベンチマークとしての役割を果たすとともに、新規攻撃や拡張関数の継続的統合を支援する。