[論文レビュー] NeuronInspect: Detecting Backdoors in Neural Networks via Output Explanations

Xijie Huang, Moustafa Alzantot+1 more|arXiv (Cornell University)|Nov 18, 2019

Adversarial Robustness in Machine Learning参考文献 21被引用数 65

ひとこと要約

NeuronInspect はバックドアのサンプルやトリガーの復元を必要とせず、出力説明を分析して DNN のトロジャンバックドアを検出し、頑健性と効率性で Neural Cleanse を上回る。

ABSTRACT

Deep neural networks have achieved state-of-the-art performance on various tasks. However, lack of interpretability and transparency makes it easier for malicious attackers to inject trojan backdoor into the neural networks, which will make the model behave abnormally when a backdoor sample with a specific trigger is input. In this paper, we propose NeuronInspect, a framework to detect trojan backdoors in deep neural networks via output explanation techniques. NeuronInspect first identifies the existence of backdoor attack targets by generating the explanation heatmap of the output layer. We observe that generated heatmaps from clean and backdoored models have different characteristics. Therefore we extract features that measure the attributes of explanations from an attacked model namely: sparse, smooth and persistent. We combine these features and use outlier detection to figure out the outliers, which is the set of attack targets. We demonstrate the effectiveness and efficiency of NeuronInspect on MNIST digit recognition dataset and GTSRB traffic sign recognition dataset. We extensively evaluate NeuronInspect on different attack scenarios and prove better robustness and effectiveness over state-of-the-art trojan backdoor detection techniques Neural Cleanse by a great margin.

研究の動機と目的

• アウトソーシングされた DNN の訓練におけるトロジャンバックドアのリスクの動機づけと非侵襲的検出の必要性。
• バックドアサンプルやトリガー復元なしで出力説明ヒートマップを用いてバックドアを検出する方法を提案する。
• 説明から特徴を抽出する（疎性、滑らかさ、持続性）攻撃ターゲットを識別する。
• 特徴を外れ値検出と組み合わせて潜在的なバックドアターゲットを識別する。
• データセットとトリガーの変化に渡って最先端のバックドア検出器に対する頑健性と効率性を評価する。

提案手法

• 全クラスに対してクリーン入力の出力説明ヒートマップを使用する。
• 3つの説明ベースの特徴を計算する：疎性、滑らかさ、持続性。
• f_combined の定義: λ_sp * f_sparse + λ_sm * f_smooth + λ_pe * f_persistent。
• MAD に基づく外れ値検出を適用してターゲットクラスをバックドア候補として識別する。
• 正の勾配を強調し、修正された、非ソフトマックス風出力を用いたサリエンシー熱マップ生成を変更する。
• Neural Cleanse に対する効率を評価し、特徴寄与のアブレーション研究を行う。

実験結果

リサーチクエスチョン

• RQ1 バックドアサンプルなしで、クリーンとバックドアモデル間の説明ヒートマップの差異を通じてバックドアターゲットを検出できるか？
• RQ2 説明ヒートマップの疎性、滑らかさ、持続性の性質はバックドアターゲットを信頼性高く示すか？
• RQ3 組み合わせた説明特徴の外れ値検出はトリガーのサイズ、場所、パターンを超えて頑健か？
• RQ4 MNIST と GTSRB データセットにおける検出精度と計算時間で NeuronInspect は Neural Cleanse とどう比較されるか？

主な発見

• NeuronInspect は MNIST で 1x1 から 4x4 までのトリガーサイズに対してバックドアターゲットを成功裡に検出し、異常指標が高く、正しいターゲットを得る。
• GTSRB では様々なトリガーサイズと場所でバックドアを検出し、しばし Neural Cleanse より高い異常指標と正しいターゲットを達成することが多い。
• 組み合わせた特徴は、偽警報を減らしターゲット識別を改善する点で個別特徴を上回る。
• NeuronInspect は Neural Cleanse より大幅に高速で、評価データセットで推論時間が Neural Cleanse の 10% 未満。
• 敏感性分析はトリガーサイズ、複数トリガー、半透明トリガーに対して頑健であり、Neural Cleanse が失敗する場合もある。
• アブレーション研究は、疎性、滑らかさ、持続性の特徴を組み合わせると最良の性能を得ることを確認。