[論文レビュー] Programmable Neural Network Trojan for Pre-Trained Feature Extractor

Yu Ji, Zinxin Liu+3 more|arXiv (Cornell University)|Jan 23, 2019

Adversarial Robustness in Machine Learning参考文献 15被引用数 16

ひとこと要約

本稿では、任意のターゲット画像に基づいて動的にトリガーを生成できるプログラマブルなニューラルネットワークトロイの木を提案する。この手法により、転移学習に使用される事前学習済みモデルに対する、静かで高成功率のバックドア攻撃が可能になる。微調整後でも効果を保ち、トップ5予測では最大75.87%、転移学習シナリオでは38.15%の攻撃成功率を達成する一方、統計的分析やモデル再訓練による検出を回避する。

ABSTRACT

Neural network (NN) trojaning attack is an emerging and important attack model that can broadly damage the system deployed with NN models. Existing studies have explored the outsourced training attack scenario and transfer learning attack scenario in some small datasets for specific domains, with limited numbers of fixed target classes. In this paper, we propose a more powerful trojaning attack method for both outsourced training attack and transfer learning attack, which outperforms existing studies in the capability, generality, and stealthiness. First, The attack is programmable that the malicious misclassification target is not fixed and can be generated on demand even after the victim's deployment. Second, our trojan attack is not limited in a small domain; one trojaned model on a large-scale dataset can affect applications of different domains that reuse its general features. Thirdly, our trojan design is hard to be detected or eliminated even if the victims fine-tune the whole model.

研究の動機と目的

• 実世界の展開環境において、背後にバックドアを仕込んだ事前学習済みニューラルネットワークが引き起こす深刻なセキュリティ脅威に対処すること。
• 固定された少数のターゲットクラスや特定のドメインに限定される従来のトロイの木攻撃の限界を乗り越えること。
• 被害者がモデルを微調整しても、依然として検出不能かつ持続的であるトロイの木メカニズムを開発すること。
• デプロイ後でさえ、任意の希望するクラスラベルに対してオンデマンドでプログラマブルにターゲットを生成できること。
• ImageNet事前学習済みネットワークのような大規模モデルを用いた一般用途の転移学習設定において、トロイの木攻撃の実現可能性と有効性を示すこと。

提案手法

• ターゲット画像からトリガーパターンを合成するためのジェネレータニューラルネットワークを訓練し、動的で柔軟なトリガー作成を可能にする。
• VGG16やResNetなどの事前学習済み特徴抽出器と統合し、エンドツーエンドの訓練パイプラインで畳み込み層にトロイの木を埋め込む。
• 生成されたトリガーを含む入力をターゲットクラスに誤分類するように、ジェネレータと特徴抽出器を共同最適化で訓練する。
• トレーニング中に空間的位置をランダム化することで、入力の変動に耐性を持つ堅牢なトリガーを設計する。
• 大規模な事前学習モデルに内在する冗長性を活用し、クリーンな正確性に悪影響を及げずにトロイの木を埋め込む。
• 標準的な防御機構（微調整やハイパーパramータチューニング）を適用して、実世界の緩和対策を模擬することで、トロイの木のレジリエンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 被害者のモデルのクラスセットが不明であっても、デプロイ時において任意のクラスラベルに対して動的にトロイの木を生成できるか？
• RQ2 被害者が自らのデータセットで微調整を実施した後でも、トロイの木がどの程度効果的かつ検出不能に保たれるか？
• RQ3 統計的検出手法を含めた場合、本手法が従来の方法と比べてどれほど静かで、特に検出に強いのか？
• RQ4 一般用途の特徴抽出器（例：ImageNetモデル）に埋め込んでも、多様な下流タスクで正常に機能するか？
• RQ5 微調整のような標準的な防御戦略を適用した際の、モデル正確性とトロイの木の持続性のトレードオフはいかなるものか？

主な発見

• アウトソーシングトレーニングシナリオにおいて、VGG16ではトップ1攻撃成功率が50.27%、トップ5攻撃成功率が75.87%に達し、モデルの自然な正確性に近づく。
• 花分類データセットを用いた転移学習設定では、クリーン入力の正確性が91.56%（クリーンモデルは91.70%）を維持し、攻撃成功率は38.15%を記録する。
• 統計的検出手法ではトロイの木が検出されない。重みと活性化の分布は元のモデルと区別できない。
• 学習率$10^{-3}$でエンドツーエンドの微調整を実施後も、トロイの木は17–29%の攻撃成功率を維持し、被害者の観点から見ても有効である。
• より大きな学習率を用いるとトロイの木は消滅するが、モデル正確性が著しく低下するため、防衛とパフォーマンスのトレードオフが生じる。
• 複数のハイパーパramータ設定においてもトロイの木がレジリエントであるため、ハイパーパramータチューニングによる防衛は信頼できない。