[論文レビュー] Backdoor Attacks and Countermeasures on Deep Learning: A Comprehensive Review

Yansong Gao, Bao Gia Doan+6 more|arXiv (Cornell University)|Jul 21, 2020

Adversarial Robustness in Machine Learning参考文献 180被引用数 132

ひとこと要約

この論文は、深層学習におけるバックドア攻撃面の体系的分類を提供し、既存の攻撃と対策を調査し、それらの利点と制限を評価する。 また、flip side の側面と将来の研究方向についても論じる。

ABSTRACT

This work provides the community with a timely comprehensive review of backdoor attacks and countermeasures on deep learning. According to the attacker's capability and affected stage of the machine learning pipeline, the attack surfaces are recognized to be wide and then formalized into six categorizations: code poisoning, outsourcing, pretrained, data collection, collaborative learning and post-deployment. Accordingly, attacks under each categorization are combed. The countermeasures are categorized into four general classes: blind backdoor removal, offline backdoor inspection, online backdoor inspection, and post backdoor removal. Accordingly, we review countermeasures, and compare and analyze their advantages and disadvantages. We have also reviewed the flip side of backdoor attacks, which are explored for i) protecting intellectual property of deep learning models, ii) acting as a honeypot to catch adversarial example attacks, and iii) verifying data deletion requested by the data contributor.Overall, the research on defense is far behind the attack, and there is no single defense that can prevent all types of backdoor attacks. In some cases, an attacker can intelligently bypass existing defenses with an adaptive attack. Drawing the insights from the systematic review, we also present key areas for future research on the backdoor, such as empirical security evaluations from physical trigger attacks, and in particular, more efficient and practical countermeasures are solicited.

研究の動機と目的

• 攻撃者の能力とMLパイプラインの段階に基づくバックドア攻撃面の体系を提供する。
• 各サーフェスに跨るバックドア攻撃を整理・比較し、それらの長所と限界を評価する。
• 対策を要約し、展開段階とデータ/モデルの焦点別に分類する。
• 実務的な影響、flip sideアプリケーション、および将来の研究方向について論じる。

提案手法

• CDAやASRなどのバックドア攻撃概念と指標を定義・形式化する。
• 攻撃サーフェスをコード汚染、アウトソーシング、事前学習済み、データ収集、協調学習、デプロイ後の6クラスに体系的に分類する。
• 各サーフェスの代表的な攻撃を検討・要約し、定性的な比較を行う。
• 対策をブラインド除去、オフライン検査、オンライン検査、バックドア除去後の4カテゴリに分類し、それぞれの利点と欠点を比較する。
• IP保護、ハニーポット、データ削除検証など含むより広い意味での影響を論じ、将来の研究方向を概説する。

実験結果

リサーチクエスチョン

• RQ1 DLパイプラインにおいてバックドア攻撃が実行され得るサーフェスを最も適切に捉える分類は何か？
• RQ2 各サーフェス内の主要なバックドア攻撃技法は何か、能力と性能はどう比較されるか？
• RQ3 存在する防御戦略は何か、どのように分類されるか、適応型攻撃に対する制約は何か？
• RQ4 バックドア研究のより広い影響と潜在的な肯定的応用（flip side）は何か？
• RQ5 実証的評価と防御開発の主要な未解決課題と将来の方向性は何か？

主な発見

• バックドア攻撃はMLパイプラインの段階と攻撃者の能力に対応する6つのサーフェスに整理できる。
• クリーンデータ上で通常の性能を維持し、起動時に高い攻撃成功率を達成する。
• すべてのバックドア varianteを防ぐ単一の防御はなく、適応型の攻撃者は一部の防御を回避できる。
• 防御研究は攻撃技術に遅れを取っており、実用的で効率的な対策の必要性を浮き彫りにしている。
• この総説はバックドア研究のより広い用途として、知的財産保護、ハニーポットとしての機能、データ削除の検証などを特定している。
• 著者は、物理的トリガーを用いた実証的なセキュリティ評価やより効果的な防御を含む将来の研究方向を提案している。