[論文レビュー] Data-free Backdoor Removal based on Channel Lipschitzness

Runkai Zheng, Rongjun Tang+2 more|arXiv (Cornell University)|Aug 5, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、訓練データを必要とせず、モデルの重みのみを用いて、バックドアトレーニングに敏感なチャネルを特定・削除するデータフリーなバックドア防御手法であるチャネルリプシッツ性に基づくプルーニング（CLP）を提案する。CLPは、入力の摂動に対して感受性が高いとされるチャネルのリプシッツ定数が大きいチャネルを特定し、それらをプルーニングすることで、バックドアの影響を低減する。CLPは、最小限の精度低下と優れた高速性を実現し、訓練データや広範なハイパーパramータチューニングを必要としない既存手法を上回る最先端のバックドア除去性能を達成する。

ABSTRACT

Recent studies have shown that Deep Neural Networks (DNNs) are vulnerable to the backdoor attacks, which leads to malicious behaviors of DNNs when specific triggers are attached to the input images. It was further demonstrated that the infected DNNs possess a collection of channels, which are more sensitive to the backdoor triggers compared with normal channels. Pruning these channels was then shown to be effective in mitigating the backdoor behaviors. To locate those channels, it is natural to consider their Lipschitzness, which measures their sensitivity against worst-case perturbations on the inputs. In this work, we introduce a novel concept called Channel Lipschitz Constant (CLC), which is defined as the Lipschitz constant of the mapping from the input images to the output of each channel. Then we provide empirical evidences to show the strong correlation between an Upper bound of the CLC (UCLC) and the trigger-activated change on the channel activation. Since UCLC can be directly calculated from the weight matrices, we can detect the potential backdoor channels in a data-free manner, and do simple pruning on the infected DNN to repair the model. The proposed Channel Lipschitzness based Pruning (CLP) method is super fast, simple, data-free and robust to the choice of the pruning threshold. Extensive experiments are conducted to evaluate the efficiency and effectiveness of CLP, which achieves state-of-the-art results among the mainstream defense methods even without any data. Source codes are available at https://github.com/rkteddy/channel-Lipschitzness-based-pruning.

研究の動機と目的

• 訓練データが入手不可である状況下でのバックドア攻撃に対する防御の課題に取り組むこと。
• 入力データにアクセスできない状況下で、DNN内のバックドアトレーマー感受性の高いチャネルを同定すること。
• 高いクリーン精度を維持しながら、高速かつ耐障害性に優れ、データフリーな防御機構を開発すること。
• チャネルリプシッツ性とバックドア脆弱性の間の理論的かつ実験的関連性を確立すること。
• 多様なCNNアーキテクチャやバックドア攻撃タイプに一般化可能な、軽量な防御手法を提供すること。

提案手法

• 各チャネルの入力摂動に対する感受性を測る指標として、チャネルリプシッツ定数（CLC）を導入する。
• モデル重み行列から直接計算可能なCLCの上界（UCLC）を導出することで、データフリーな計算を可能にする。
• 異常に高いUCLCを示すチャネルを、潜在的なバックドアキャリアと特定する。
• これらの高UCLCチャネルをプルーニングすることで、バックドア行動を無効化する。
• プルーニングされるチャネル数を制御する相対的プルーニング閾値$u$を用いるが、その選択にほとんど感受性を示さない。
• 再訓練を回避し、計算効率に優れた、データフリーで重みのみに依存するアプローチを採用する。

実験結果

リサーチクエスチョン

• RQ1 チャネルレベルのリプシッツ定数は、DNNにおけるバックドアトレーマー感受性を信頼できる指標として機能するか？
• RQ2 訓練データにアクセスできない状況下で、バックドアチャネルを検出・除去することが可能か？
• RQ3 提案手法のUCLCに基づくプルーニングは、既存のデータフリーおよびデータ依存防御手法と比較して、精度および耐障害性において優れているか？
• RQ4 本手法の性能は、プルーニング閾値$u$の選択にどれほど感受性を示すか？
• RQ5 本手法は、異なるCNNアーキテクチャや多様なバックドア攻撃タイプに一般化可能か？

主な発見

• CIFAR-10のResNet-18を用いた全テスト攻撃において、CLPは10%の汚染率下でも攻撃成功確率（ASR）を3%未満に低下させつつ、クリーン精度を93%以上に維持した。
• CIFAR-10のResNet-18において、CLPはBadNets（A2O）でASRを100%から1.38%、BadNets（A2A）で1.06%、Trojanで0.92%に低下させ、クリーン精度の低下はたった0.4%にとどまった。
• CPUを用いて500枚のCIFAR-10画像に対して推論を実行した場合、CLPの実行時間はわずか2.87秒であり、次に速い手法と比べて約5倍高速であった。
• プルーニング閾値$u$に対して本手法は頑健であり、複数のアーキテクチャで$u$が3〜4の範囲で最適な性能が得られた。
• VGGやSENetではResNetよりも$u$に対してより高い耐障害性を示し、CLPは異なるアーキテクチャに広く適用可能であることが示された。
• 高い汚染率（最大10%）下でも、CLPは大多数の攻撃でASRを3%未満に低下させ、データ汚染度に対する強い耐性を示した。