[論文レビュー] TrojanNet: Embedding Hidden Trojan Horse Models in Neural Networks.

Chuan Guo, Ruihan Wu+1 more|arXiv (Cornell University)|Feb 24, 2020

Adversarial Robustness in Machine Learning参考文献 47被引用数 20

ひとこと要約

TrojanNetは、計算的に非実行可能であり、効果的な隠し方を用いることで、悪意あるトロイの木馬ネットワークを健全なニューラルネットワークに埋め込むフレームワークを提案する。この手法により、元のモデルの性能を損なうことなく、任意のトロイの木馬機能を埋め込むことが可能となり、ニューラルネットワークの信頼性における深刻なセキュリティ上の脆弱性が露呈される。

ABSTRACT

The complexity of large-scale neural networks can lead to poor understanding of their internal details. We show that this opaqueness provides an opportunity for adversaries to embed unintended functionalities into the network in the form of Trojan horses. Our novel framework hides the existence of a Trojan network with arbitrary desired functionality within a benign transport network. We prove theoretically that the Trojan network's detection is computationally infeasible and demonstrate empirically that the transport network does not compromise its disguise. Our paper exposes an important, previously unknown loophole that could potentially undermine the security and trustworthiness of machine learning.

研究の動機と目的

• 敵対的バックドアが、検出されないまま大規模なニューラルネットワークに埋め込まれるかどうかを調査すること。
• 展開済みのAIシステムにおける潜在的なセキュリティ侵害を引き起こす可能性がある、モデルの不透明性の増大という懸念に対処すること。
• 健全なモデル内にトロイの木馬機能を隠し、元の性能を維持するフレームワークを設計すること。
• 現実的な条件下で、このようなトロイの木馬の検出が計算的に非現実的であることを示すこと。
• 機械学習システムにおける、これまで未知の深刻なセキュリティ上の抜け穴を暴露すること。

提案手法

• フレームワークは、事前に訓練された健全なニューラルネットワークに、任意の機能を持つトロイの木馬ネットワークを隠しモジュールとして統合する。
• アーキテクチャの不透明化を活用し、推論および学習中にトロイの木馬が検出されないよう保証する。
• トロイの木馬は、特定のまれな入力パターンの下でのみ発動するため、通常の運用中に疑いを引き起こす可能性が低い。
• この手法により、健全なネットワークの正確性が統合後も変化せず、機能的 disguise を維持する。
• 理論的分析により、標準的な仮定の下で、隠しトロイの木馬の検出が計算的に非現実的であることが証明される。
• 実験的評価により、標準的なモデル点検および敵対的テストの下でも、トロイの木馬が検出されないことが確認される。

実験結果

リサーチクエスチョン

• RQ1 通常の運用中に顕在的な動作が変化しないまま、悪意あるトロイの木馬をニューラルネットワークに埋め込むことは可能か？
• RQ2 標準的なモデル分析手法を用いて、このような隠しトロイの木馬を検出することは計算的に非現実的か？
• RQ3 性能の低下を引き起こさずに、トロイの木馬の機能を健全なモデル内にどれほど効果的に隠せるか？
• RQ4 機能的なバックドアを埋め込む際、フレームワークは元のモデルの正確性をどのように維持するか？
• RQ5 モデルの不透明性が、展開済みの機械学習システムのセキュリティと信頼性に与える影響は何か？

主な発見

• 標準的なモデル点検手法では、計算的に非現実的であるため、トロイの木馬ネットワークの存在は検出できない。
• 健全なトランスポートネットワークは、トロイの木馬を埋め込んだ後も元の正確性と性能を維持し、機能的 disguise を保つ。
• トロイの木馬は、まれな特定の入力パターンの下でのみ発動するため、通常使用時の検出可能性が低減される。
• 実験的結果により、敵対的テストおよびモデル分析の下でも、トロイの木馬が検出されないことが確認された。
• フレームワークは、モデルの不透明性がニューラルネットワークにおける、これまで未知のセキュリティ上の抜け穴を可能にすることを示した。
• 本研究は、大規模モデルにおけるこうした巧妙な埋め込みバックドアに対して、現在の防御策が不十分であることを明らかにした。