[論文レビュー] Neural Trojans

Yuntao Liu, Yang Xie+1 more|arXiv (Cornell University)|Oct 3, 2017

Adversarial Robustness in Machine Learning参考文献 20被引用数 27

ひとこと要約

この論文は、信頼できないベンダーによって事前学習済みニューラルネットワークの知的財産（IP）に埋め込まれた隠しバックドア（ニューラルトロイの木）の脅威を調査する。3つの緩和手法を提案する：入力の異常検出（99.8％のトリガー検出率、12.2％の誤検出率）、再訓練（94.1％のトリガー防止率、再構成可能である必要あり）、入力前処理（IPの仮定なしに90.2％のトリガー無効化率）。これらはすべて、バックドア攻撃に対する有効性が実証された。

ABSTRACT

While neural networks demonstrate stronger capabilities in pattern recognition nowadays, they are also becoming larger and deeper. As a result, the effort needed to train a network also increases dramatically. In many cases, it is more practical to use a neural network intellectual property (IP) that an IP vendor has already trained. As we do not know about the training process, there can be security threats in the neural IP: the IP vendor (attacker) may embed hidden malicious functionality, i.e. neural Trojans, into the neural IP. We show that this is an effective attack and provide three mitigation techniques: input anomaly detection, re-training, and input preprocessing. All the techniques are proven effective. The input anomaly detection approach is able to detect 99.8% of Trojan triggers although with 12.2% false positive. The re-training approach is able to prevent 94.1% of Trojan triggers from triggering the Trojan although it requires that the neural IP be reconfigurable. In the input preprocessing approach, 90.2% of Trojan triggers are rendered ineffective and no assumption about the neural IP is needed.

研究の動機と目的

• 信頼できないベンダーから供給されたバックドア付きニューラルネットワークIPのセキュリティリスクを調査すること。
• 事前学習モデルに隠し悪意ある機能（ニューラルトロイの木）を埋め込む可能性とその影響を特定すること。
• 訓練データやアーキテクチャへのアクセスなしに、実用的な防御メカニズムを開発・評価すること。

提案手法

• 入力の異常検出は、入力パターンの通常とは異なる振るまいを分析することで、トロイの木のトリガーを特定する。
• 再訓練は、クリーンなデータでニューラルIPを微調整することで、トロイの木の機能を破壊する。
• 入力前処理は、推論前に入力を変更することでトリガーを無効化するが、モデルに関する仮定は不要である。
• 3つの手法は、実世界のニューラルネットワークモデルを用いて評価され、検出および緩和性能が測定された。
• 各手法は、攻撃者がモデルの訓練プロセスを制御するという現実的な脅威モデル下でテストされた。

実験結果

リサーチクエスチョン

• RQ1 信頼できないベンダーによって、事前学習済みニューラルネットワークIPに効果的にニューラルトロイの木を埋め込むことができるか？
• RQ2 入力の異常検出、再訓練、入力前処理は、トロイの木のトリガーを検出または無効化するためにどれほど効果的か？
• RQ3 検出精度、誤検出率、モデルへのアクセス要件の観点から、異なる緩和戦略におけるトレードオフは何か？

主な発見

• 入力の異常検出は、99.8％のトロイの木のトリガーを効果的に検出できたが、12.2％の誤検出率を示した。
• 再訓練は、94.1％のトロイの木のトリガーの活性化を防止できたが、ニューラルIPが再構成可能である必要があった。
• 入力前処理は、モデルに関するいかなる仮定も必要とせず、90.2％のトロイの木のトリガーを無効化できた。
• 3つの緩和手法すべてが、事前学習済みニューラルネットワークにおけるバックドア攻撃の無効化に有効であることが実証された。
• 入力前処理手法は特に優位であり、モデルの重みや訓練データへのアクセスを必要としないためである。