[論文レビュー] NTD: Non-Transferability Enabled Backdoor Detection

Yinshan Li, Hua Ma+7 more|arXiv (Cornell University)|Nov 22, 2021

Adversarial Robustness in Machine Learning参考文献 38被引用数 4

ひとこと要約

NTDは、バックドアトレインの本質的非転送性を活用して、推論時における悪意のある入力を軽量で使いやすいオンライン検出手法で検出する。プライベートに事前に訓練された特徴抽出器を用い、同じ予測クラスに属する健全なサンプルの特徴と入力の特徴を比較することで、最小限の計算負荷と機械学習の専門知識やトレーニングデータへのアクセスを必要とせずに、高い検出精度を達成する。

ABSTRACT

A backdoor deep learning (DL) model behaves normally upon clean inputs but misbehaves upon trigger inputs as the backdoor attacker desires, posing severe consequences to DL model deployments. State-of-the-art defenses are either limited to specific backdoor attacks (source-agnostic attacks) or non-user-friendly in that machine learning (ML) expertise or expensive computing resources are required. This work observes that all existing backdoor attacks have an inevitable intrinsic weakness, non-transferability, that is, a trigger input hijacks a backdoored model but cannot be effective to another model that has not been implanted with the same backdoor. With this key observation, we propose non-transferability enabled backdoor detection (NTD) to identify trigger inputs for a model-under-test (MUT) during run-time.Specifically, NTD allows a potentially backdoored MUT to predict a class for an input. In the meantime, NTD leverages a feature extractor (FE) to extract feature vectors for the input and a group of samples randomly picked from its predicted class, and then compares similarity between the input and the samples in the FE's latent space. If the similarity is low, the input is an adversarial trigger input; otherwise, benign. The FE is a free pre-trained model privately reserved from open platforms. As the FE and MUT are from different sources, the attacker is very unlikely to insert the same backdoor into both of them. Because of non-transferability, a trigger effect that does work on the MUT cannot be transferred to the FE, making NTD effective against different types of backdoor attacks. We evaluate NTD on three popular customized tasks such as face recognition, traffic sign recognition and general animal classification, results of which affirm that NDT has high effectiveness (low false acceptance rate) and usability (low false rejection rate) with low detection latency.

研究の動機と目的

• 既存のバックドア防御には、トレインタイプに依存するか、高い機械学習の専門知識や計算リソースを要するという限界があることに対処する。
• トレーニングデータやモデル重みへのアクセスが不要で、推論時のみで動作する実用的で使いやすい防御を構築すること。
• バックドア攻撃に内在する非転送性の性質を活用し、多様なバックドアタイプに一般化可能なトリガー入力を効果的に検出すること。
• 顔認識や自動運転などのセキュリティが重要な応用分野において、低遅延かつ高精度のリアルタイム検出を実現すること。

提案手法

• NTDは、信頼できるソースから事前に取得した、プライベートに確保された特徴抽出器（FE）を用い、入力サンプルの潜在的特徴を抽出する。
• 入力に対しては、FEの潜在空間内において、同じ予測クラスに属するランダムに抽出された健全なサンプルとの特徴類似度を計算する。
• 入力と健全なサンプルとの類似度が低い場合、入力はトリガー入力と分類される。それ以外の場合は健全とみなされる。
• この手法は、非転送性の性質に依存している： モデル・アンダー・テスト（MUT）で有効なトリガーは、独立して訓練されバックドアが仕込まれていないFEでは機能しない。
• オンライン遅延を低減するため、NTDはオフライン段階で検証セットからのすべての特徴ベクトルを事前に計算しキャッシュする。
• 検出メカニズムはグローバルおよびクラスごとの閾値をサポートしており、特に高リスクのターゲットクラスに対して保護を強化する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータやモデル重みへのアクセスがなくても、バックドア検出手法がトリガー入力を効果的に検出できるか。
• RQ2 バックドアトリガーの非転送性を活用して、トリガータイプやバックドアタイプに依存しない検出メカニズムを構築できるか。
• RQ3 機械学習の専門知識が不要で、最小限の計算負荷で動作する軽量なオンライン検出システムを設計できるか。
• RQ4 FAR（誤受容率）およびFRR（誤拒否率）の観点から、NTDの検出性能は既存の防御手法と比較してどうなるか。

主な発見

• NTDは、複数のタスクにおいて低い誤受容率（FAR）を達成しており、改ざんされた入力を検出する高い有効性を示している。
• 同様に、低い誤拒否率（FRR）を維持しており、健全な入力に対して強い耐性を示している。
• 特徴ベクトルが検証セットから事前に計算されキャッシュされているため、NTDは低いオンライン検出遅延を実現している。
• 検出メカニズムは、トリガータイプやバックドアタイプに依存せず、ソースに依存しない攻撃およびソースに依存する攻撃の両方をカバーできる。
• NTDは、機械学習の専門知識が不要で、トレーニングも不要、トレーニングデータへのアクセスも不要である点で、既存の防御を上回る使いやすさを実現している。
• 信頼できる独立した特徴抽出器の使用により、FEはMUTのバックドアに影響を受けず、信頼できる検出を可能にする。