[論文レビュー] One-pixel Signature: Characterizing CNN Models for Backdoor Detection

Shanjiaoyang Huang, Wei‐Qi Peng+2 more|arXiv (Cornell University)|Aug 18, 2020

Adversarial Robustness in Machine Learning参考文献 27被引用数 10

ひとこと要約

本稿では、モデルパラメータへのアクセスを必要とせず、CNNモデルのバックドア検出を極めて効果的に行う、アーキテクチャに依存しない新しい表現であるone-pixelシグネチャを提案する。1ピクセルずつ敵対的摂動を生成し、分類予測の変化を最大化することで、従来手法に比べ30%の絶対的な検出精度の向上を達成し、アーキテクチャやデータセットにわたる強力な一般化性能を示している。

ABSTRACT

We tackle the convolution neural networks (CNNs) backdoor detection problem by proposing a new representation called one-pixel signature. Our task is to detect/classify if a CNN model has been maliciously inserted with an unknown Trojan trigger or not. Here, each CNN model is associated with a signature that is created by generating, pixel-by-pixel, an adversarial value that is the result of the largest change to the class prediction. The one-pixel signature is agnostic to the design choice of CNN architectures, and how they were trained. It can be computed efficiently for a black-box CNN model without accessing the network parameters. Our proposed one-pixel signature demonstrates a substantial improvement (by around 30% in the absolute detection accuracy) over the existing competing methods for backdoored CNN detection/classification. One-pixel signature is a general representation that can be used to characterize CNN models beyond backdoor detection.

研究の動機と目的

• モデルパラメータやアーキテクチャの詳細にアクセスできない状況下でも、CNNモデルにおけるバックドアを検出するという重要なセキュリティ課題に対処すること。
• クリーンモデルとバックドア付きモデルの両方の内在的特性を露わにする汎用的表現を構築すること。
• Neural Cleanse や ABS といった既存手法を超えて、未知または複雑なバックドアトレインの状況下でも検出精度を向上させること。
• 最小限の学習データで効果的な検出を可能にし、多様なCNNアーキテクチャやデータセットにわたる高い一般化性能を実現すること。

提案手法

• one-pixelシグネチャは、モデルの予測クラス確率の変化を最大化するように1ピクセルの摂動を最適化することで計算される。
• 各入力画像に対して、モデル出力分布の変化が最大になるピクセル位置と値を特定し、モデルごとにシグネチャを生成する。
• このシグネチャはCNNアーキテクチャ、学習手順、ハイパーパrameterに依存しないため、ブラックボックス応用が可能である。
• これらのシグネチャを入力として用いたバックドア検出器を教師あり分類により学習させ、クリーンモデルとバックドア付きモデルを区別する。
• one-pixelシグネチャの各チャネルを別個の訓練サンプルとして扱うことで、データ効率を著しく向上させる。
• 計算の単純化と耐障害性を考慮し、デフォルト画像 $I_o$ をゼロ（黒画像）に設定しており、実証的な検証で高い検出性能が得られている。

実験結果

リサーチクエスチョン

• RQ1 モデルパラメータやアーキテクチャに依存しない、バックドア特性を露わにするパラメータフリーな表現を設計可能か？
• RQ2 one-pixelシグネチャは、多様なCNNアーキテクチャやデータセットにおいて、バックドア検出にどの程度有効か？
• RQ3 未知のアーキテクチャやバックドアパターンに対しても、どの程度一般化可能か？
• RQ4 低データ環境や、すべての入力が同じターゲットクラスに変更される（all-to-one）や、すべてのクラスが同じターゲットに変更される（all-to-all）といった複雑な攻撃パターン下でも、本手法はどの程度の性能を示すか？

主な発見

• one-pixelシグネチャは、Neural Cleanse や ABS といった既存手法に比べ、バックドア検出精度で30%の絶対的向上を達成した。
• MNISTでは、アーキテクチャが未知のモデルに対しても平均80%の検出率を示し、アーキテクチャ間での一般化が確認された。
• MNISTではクリーンモデルとバックドア付きモデルのペアを25組ずつ使用するだけで約95%の検出精度を達成し、GTSRBでは175組のペアで87.31%の精度を達成した。
• one-pixelシグネチャの各チャネルを訓練サンプルとして個別に扱うことで、データ効率が向上し、GTSRBでは100組の訓練ペアで97%の検出精度を達成した。
• all-to-one および all-to-all バックドア攻撃に対しても、95%以上の検出成功率を維持した。これに対して Neural Cleanse や ABS は約50%の成功率にとどまり、本手法が顕著に優れている。
• デフォルト画像 $I_o$ をゼロ（黒画像）に設定することで、最良の実証的性能が得られ、学習データへのアクセスを回避できる。