[論文レビュー] On Hiding Neural Networks Inside Neural Networks

Chuan Guo, Ruihan Wu+1 more|arXiv (Cornell University)|Feb 24, 2020

Adversarial Robustness in Machine Learning参考文献 26被引用数 4

ひとこと要約

本稿では、余剰なモデル容量を活用して、公開されたキャリアネットワーク内に秘密のニューラルネットワークを隠すステガノグラフィックフレームワーク、TrojanNetを提案する。訓練中に秘密鍵を用いて重みを並べ替えることで、公開タスクと秘密タスクを検出不能に同時に学習可能となる。鍵がなければ、秘密モデルはランダムと計算的に区別できず、検出はNP完全であることが証明されている。

ABSTRACT

Modern neural networks often contain significantly more parameters than the size of their training data. We show that this excess capacity provides an opportunity for embedding secret machine learning models within a trained neural network. Our novel framework hides the existence of a secret neural network with arbitrary desired functionality within a carrier network. We prove theoretically that the secret network's detection is computationally infeasible and demonstrate empirically that the carrier network does not compromise the secret network's disguise. Our paper introduces a previously unknown steganographic technique that can be exploited by adversaries if left unchecked.

研究の動機と目的

• 公開リリースされた、見かけ上無害なキャリアネットワーク内に秘密のニューラルネットワークを隠す手法を開発すること。
• 秘密鍵の知識がなければ、秘密モデルが計算的に検出不能であることを保証すること。
• 大規模ニューラルネットワークに内在する余剰なモデル容量を活用し、パフォーマンスの低下を伴わずに、公開タスクと秘密タスクを同時に学習可能にすること。
• 隠されたモデルの存在を検出することは理論的にNP完全であることを証明し、強力な隠蔽性を確保すること。
• 実験的に、秘密鍵がなければ隠されたモデルを抽出できず、キャリアネットワークが両タスクで高いパフォーマンスを維持することを示すこと。

提案手法

• 本手法は、訓練中に秘密鍵を用いてネットワーク重みの特定の並べ替えを定義し、事前に訓練済みのキャリアネットワーク内に隠れたニューラルネットワークを埋め込む。
• キャリアネットワークは、共有特徴を持たないまま、公開タスクを学習すると同時に、重みの並べ替えを介して秘密タスクも学習する。
• 秘密鍵を用いて逆並べ替えを適用することで、隠れたネットワークの元の重み構成が回復され、秘密モデルが抽出可能となる。
• 過剰にパラメータ化されたニューラルネットワークの冗長性に依存し、合計パrameter数を増加させることなく秘密モデルを埋め込む。
• 理論的分析により、任意の並べ替えが隠れた機能を引き起こすかどうかを判断することはNP完全な決定問題であることが示され、検出の計算的非現実性が保証される。
• CIFAR-10およびCIFAR-100を用いた実証的検証では、公開タスクと秘密タスクの両方で、単一タスク学習と同等のパフォーマンスを達成している。

実験結果

リサーチクエスチョン

• RQ1 秘密鍵がなければ計算的に検出不能な方法で、ニューラルネットワークを別のニューラルネットワーク内に隠すことは可能か？
• RQ2 パフォーマンスに悪影響を及げることなく、1つのネットワークで公開タスクと秘密タスクを同時に学習することは可能か？
• RQ3 キャリアモデル内に隠されたニューラルネットワークの存在を検出する計算複雑性はいかほどか？
• RQ4 モデル容量は、埋め込める隠しタスクの数や個々のモデルのパフォーマンスにどのように影響するか？
• RQ5 本手法は、ステガノグラフィーを超えて、モデルのウォーターマーキングや著作権保護といった応用に利用可能か？

主な発見

• キャリアモデル内に隠されたニューラルネットワークの検出は、NP完全な決定問題であることが証明され、秘密鍵がなければ計算的に非現実的である。
• CIFAR-10およびCIFAR-100において、最大10個の異なる鍵を用いてTRN50を訓練した結果、個々のモデルの精度はそれぞれ1.5%および2.9%の低下にとどまり、効率的な重み共有が実証された。
• 秘密鍵がなければ、隠れたモデルのパフォーマンスはランダムと区別できず、キャリアネットワークは公開タスクで高い精度を維持する。
• パrameter数の増加なしに、公開タスクと秘密タスクの両方で、別々に訓練したモデルと同等のパフォーマンスを達成している。
• TRN50のような大規模モデルは、TRN18のような小規模モデルよりもはるかに多くの秘密モデルを埋め込める能力を示しており、余剰容量の役割が裏付けられた。
• 本フレームワークにより、独立したモデルと同等に相関の低い隠しモデルのアンサンブルが構築可能であり、メモリ制約下でのパフォーマンス向上に有効であることが示唆された。