[論文レビュー] An Embarrassingly Simple Approach for Trojan Attack in Deep Neural Networks

Ruixiang Tang, Mengnan Du+3 more|arXiv (Cornell University)|Jun 15, 2020

Adversarial Robustness in Machine Learning参考文献 30被引用数 12

ひとこと要約

この論文では、再訓練を必要とせず、モデルに依存しないトレーニングフリーなトロイの木馬攻撃であるTrojanNetを提案する。この手法は、事前学習済みの深層ニューラルネットワークに、微小で隠しめられたトリガー・モジュールを埋め込み、特定のトリガーが存在する場合にのみ入力を誤分類させる。本手法は、すべてのラベルで100%の攻撃成功率を達成し、元のモデルの精度を損なわず、最先端の検出技術を回避する。

ABSTRACT

With the widespread use of deep neural networks (DNNs) in high-stake applications, the security problem of the DNN models has received extensive attention. In this paper, we investigate a specific security problem called trojan attack, which aims to attack deployed DNN systems relying on the hidden trigger patterns inserted by malicious hackers. We propose a training-free attack approach which is different from previous work, in which trojaned behaviors are injected by retraining model on a poisoned dataset. Specifically, we do not change parameters in the original model but insert a tiny trojan module (TrojanNet) into the target model. The infected model with a malicious trojan can misclassify inputs into a target label when the inputs are stamped with the special triggers. The proposed TrojanNet has several nice properties including (1) it activates by tiny trigger patterns and keeps silent for other signals, (2) it is model-agnostic and could be injected into most DNNs, dramatically expanding its attack scenarios, and (3) the training-free mechanism saves massive training efforts comparing to conventional trojan attack methods. The experimental results show that TrojanNet can inject the trojan into all labels simultaneously (all-label trojan attack) and achieves 100% attack success rate without affecting model accuracy on original tasks. Experimental analysis further demonstrates that state-of-the-art trojan detection algorithms fail to detect TrojanNet attack. The code is available at https://github.com/trx14/TrojanNet.

研究の動機と目的

• 複数のトロイの木馬を埋め込む際、計算コストの高い再訓練を要する既存のトロイの木馬攻撃の限界を解消すること。
• 人間や自動検出に気づかれにくく、逆設計が困難な、目に見えないトリガーを持つより隠れみのあるトロイの木馬攻撃を開発すること。
• 元のモデルパラメータを変更せずに、さまざまなDNNアーキテクチャに適用可能なモデルに依存しない手法を構築すること。
• 最先端のトロイの木馬検出メカニズムを回避できる攻撃を設計すること。
• 知的財産保護のためのDNNモデルへのウォーターマーキングといった、有益な応用の可能性を調査すること。

提案手法

• 元のモデルパラメータを再訓練せずに、ターゲットDNNに小型の専用のTrojanNetモジュールを埋め込む。
• 入力画像の数ピクセルのみを変更するトリガー・パターンを用い、トロイの木馬動作を活性化する。
• 勾配ベースの最適化を用いて、TrojanNetモジュールをターゲットモデルの意思決定境界と一致させ、高い攻撃成功率を確保する。
• 統一されたモジュール設計により、すべての出力クラスへの同時にトロイの木馬の注入（すべてのラベル攻撃）を可能にする。
• TrojanNetのモデルに依存しない性質を活かし、CNNやトランスフォーマーを含む多様なDNNアーキテクチャへの適用を可能にする。
• モジュール統合時にデータ拡張を用いることで、トリガー配置の空間的感度を軽減する。

実験結果

リサーチクエスチョン

• RQ1 再訓練を必要とせず、ターゲットモデルに攻撃を実装できるか。これにより計算コストが削減できるか。
• RQ2 1つの統一されたTrojanNetモジュールが、すべての出力クラスに同時にトロイの木馬を注入できるか。
• RQ3 検出に気づかれにくく、目に見えないトリガーを設計できるか。
• RQ4 提案手法が最先端のトロイの木馬検出アルゴリズムを回避できるか。
• RQ5 TrojanNetが、モデルに依存しない方法で幅広いDNNアーキテクチャに適用可能か。

主な発見

• TrojanNetは、すべてのラベルの攻撃設定において、100%の攻撃成功率を達成し、元のモデル精度に劣化を来さない。
• 位置のずれに対しても攻撃が有効である。これは、位置感度を低減する戦略のおかげである。
• アクティベーションクラスタリングや勾配分析に基づく最先端のトロイの木馬検出モデルは、TrojanNet攻撃を検出できない。
• 数ピクセルの変更で構成される隠れみのあるトリガー・パターンは、人間には見えず、逆設計に対しても耐性がある。
• 本手法はモデルに依存せず、ResNet、VGG、DenseNetなどの多様なDNNにトロイの木馬を効果的に埋め込める。
• 本手法はウォーターマーキングを可能にし、知的財産保護への応用の可能性を示唆している。