[論文レビュー] Poison as a Cure: Detecting & Neutralizing Variable-Sized Backdoor Attacks in Deep Neural Networks

Alvin Chan, Yew-Soon Ong|arXiv (Cornell University)|Nov 19, 2019

Adversarial Robustness in Machine Learning参考文献 33被引用数 16

ひとこと要約

この論文は、汚染ターゲット／ベースクラス、汚染比率、クリーンな検証データセットなどの事前知識が不要な、深層ニューラルネットワークにおける可変サイズのバックドア攻撃に対する新規防御を提案する。入力勾配から汚染信号を抽出し、理論的保証をもって汚染サンプルを検出・フィルタリングし、拡張データと再ラベル付けを用いた微調整によってバックドアを無効化することで、CIFAR-10において多様な攻撃シナリオにおいて高い精度回復を達成する。

ABSTRACT

Deep learning models have recently shown to be vulnerable to backdoor poisoning, an insidious attack where the victim model predicts clean images correctly but classifies the same images as the target class when a trigger poison pattern is added. This poison pattern can be embedded in the training dataset by the adversary. Existing defenses are effective under certain conditions such as a small size of the poison pattern, knowledge about the ratio of poisoned training samples or when a validated clean dataset is available. Since a defender may not have such prior knowledge or resources, we propose a defense against backdoor poisoning that is effective even when those prerequisites are not met. It is made up of several parts: one to extract a backdoor poison signal, detect poison target and base classes, and filter out poisoned from clean samples with proven guarantees. The final part of our defense involves retraining the poisoned model on a dataset augmented with the extracted poison signal and corrective relabeling of poisoned samples to neutralize the backdoor. Our approach has shown to be effective in defending against backdoor attacks that use both small and large-sized poison patterns on nine different target-base class pairs from the CIFAR10 dataset.

研究の動機と目的

• 汚染ターゲット／ベースクラス、汚染比率、またはクリーンな検証データセットといった重要な事前知識が入手できない状況において、バックドア汚染攻撃に対処する挑戦に応えること。
• 小規模および大規模の汚染パターンを含むバックドア攻撃に対して効果的な防御フレームワークを開発すること。
• 入力勾配と抽出された汚染信号との類似性に基づく理論的保証を用いて、汚染サンプルの信頼性の高い検出とフィルタリングを可能にすること。
• 合成された汚染データを用いた再訓練と汚染サンプルの是正再ラベル付けにより、バックドアを無効化すること。
• CIFAR-10において、汚染サイズと比率が変化する状況下で、多様なターゲット／ベースクラスペアに対して防御を包括的に評価すること。

提案手法

• モデルの最初の層における損失関数に対する入力の勾配（すなわち、入力勾配）から汚染信号を抽出する。これは、汚染サンプルが特徴的な勾配パターンを誘発すると仮定する。
• 抽出された汚染信号を用いて、テストサンプルの入力勾配と汚染信号との類似度スコアを計算し、理論的保証をもって汚染済みとクリーンなサンプルを分離可能にする。
• 汚染信号と高い類似度を示すサンプルのラベル分布を分析することで、汚染ターゲットおよびベースクラスを特定する。
• 抽出された汚染信号を用いて訓練データセットを拡張し、汚染信号と高い類似度を示すすべてのサンプルをベースクラスに再ラベル付けすることで、バックドアを無効化する。
• フィルタリングおよび再ラベル付けされたデータセット上でモデルを再訓練し、耐性を回復させ、クリーンな精度を回復させる。
• VGGを用いたCIFAR-10において、9つのターゲット／ベースクラスペアに対して、大規模（オーバーレイ）および小規模（ドット）の汚染パターンの両方を対象として防御を適用する。

実験結果

リサーチクエスチョン

• RQ1 汚染ターゲットクラス、ベースクラス、または汚染比率に関する事前知識が一切ない状況でも、バックドア防御が有効に機能するか？
• RQ2 入力勾配を信頼性高く用いて、理論的保証を伴う汚染サンプルの検出とフィルタリングを可能にする汚染信号を抽出できるか？
• RQ3 本手法の有効性は、大規模および小規模のバックドア攻撃の両方において、検出精度とモデル回復度の観点からどの程度高いか？
• RQ4 汚染データを含む再訓練と再ラベル付けにより、バックドアを効果的に無効化し、クリーン精度を回復させることができるか？
• RQ5 多様なターゲット／ベースクラスペアおよび変化する汚染比率の下でも、防御が高い性能を維持できるか？

主な発見

• 大規模なオーバーレイ攻撃では、特異度99.7%、感度96.0%を達成。ドットサイズ攻撃では、特異度99.6%、感度99.0%を達成。
• 5%の汚染比率を想定した全サイズのオーバーレイ攻撃において、中和後、平均してクリーン精度が94.5%（元の95.1%から回復）に回復し、汚染ベースクラス精度が80%（元の11.9%から回復）に回復した。
• 5%の汚染比率のドットサイズ攻撃において、中和後、クリーン精度が94.9%、汚染ベースクラス精度が90%に達し、それぞれ元の95.3%および0.8%から回復した。
• CIFAR-10でテストした9つのターゲット／ベースクラスペアすべてにおいて、バックドアが正常に無効化された。これは、多様な攻撃設定に対して高い耐性を示している。
• 10%の汚染比率下でも、VGGを用いた全サイズのオーバーレイ攻撃において、中和後、クリーン精度が92.6%、汚染精度が94.8%を達成した。
• 勾配類似度に基づくフィルタリングステップに対して理論的保証が確立され、汚染済みとクリーンなサンプルの信頼性の高い分離が保証された。