[論文レビュー] DeepStego: Protecting Intellectual Property of Deep Neural Networks by Steganography

Zheng Li, Ge Han+2 more|arXiv (Cornell University)|Mar 5, 2019

Adversarial Robustness in Machine Learning参考文献 11被引用数 2

ひとこと要約

本稿では、深層ニューラルネットワーク（DNN）のトレーニング中に所有権のフィンガープリントを埋め込むことで、ブラックボックス検証が可能であり、モデル性能の低下を引き起こさないステガノグラフィックな水 Stamper メソッドである DeepStego を提案する。この手法は、最小限のモデル精度への影響で、強力で安全かつ法的に整合したIP保護を実現する。

ABSTRACT

Deep Neural Networks (DNNs) has shown great success in various challenging tasks. Training these networks is computationally expensive and requires vast amounts of training data. Therefore, it is necessary to design a technology to protect the intellectual property (IP) of the model and externally verify the ownership of the model in a black-box way. Previous studies either fail to meet the black-box requirement or have not dealt with several forms of security and legal problems. In this paper, we firstly propose a novel steganographic scheme for watermarking Deep Neural Networks in the process of training. This scheme is the first feasible scheme to protect DNNs which perfectly solves the problems of safety and legality. We demonstrate experimentally that such a watermark has no obvious influence on the main task of model design and can successfully verify the ownership of the model. Furthermore, we show a rather robustness by simulating our scheme in a real situation.

研究の動機と目的

• 訓練済みの深層ニューラルネットワーク（DNN）の知的財産（IP）を保護するための、安全でブラックボックス対応かつ法的に整合する手法の不足に対処すること。
• モデル精度や機能に影響を与えることなく、DNNトレーニングプロセスにスムーズに統合できる水 Stamper 技術を設計すること。
• 微調整、プルーニング、その他の一般的なモデル変更の後でも、水 Stamper が検出可能であることを保証すること。
• 実際の展開において、セキュリティと法的要件の両方を満たす、所有権検証のためのソリューションを提供すること。

提案手法

• バックプロパゲーションプロセス中に、ステガノグラフィック技術を用いて、深層ニューラルネットワークの重みに所有権の水 Stamper を直接埋め込むこと。
• 標準的なモデル評価に対して感知不能な方法で、所有権情報をネットワークの内部パラメータにマッピングする、新しい符号化戦略を用いること。
• 微調整、量子化、プルーニングなどの一般的なモデル変換に対して、水 Stamper が耐性を持つように設計すること。
• モデルの内部重みにアクセスせずに、ブラックボックスクエリメカニズムを介して水 Stamper を抽出可能にすること。
• 元のトレーニングダイナミクスと損失関数への摂動を最小限に抑えることで、モデルパフォーマンスを維持すること。
• エンドツーエンドのトレーニングと実世界の攻撃シミュレーションを通じて、スケームの耐性と検出可能性を検証すること。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中にDNNに水 Stamper を埋め込むことで、モデル精度に著しい影響を与えずにブラックボックス環境でも検出可能であるか？
• RQ2 微調整、プルーニング、量子化などの一般的なモデル変更に対して、水 Stamper の耐性はどの程度高いか？
• RQ3 水 Stamper スキームは、所有権検証に必要なセキュリティと法的整合性を保持しているか？
• RQ4 水 Stamper プロセスが、DNNが学習する主なタスクのパフォーマンスにどの程度影響を与えるか？

主な発見

• 提案された水 Stamper スキームは、トレーニング中にDNNに所有権情報を効果的に埋め込み、モデル精度に顕著な影響を及ぼさない。
• さまざまなモデル変換の後でも水 Stamper が検出可能であることが実証され、実世界のシナリオにおいて強い耐性を示している。
• ブラックボックスクエリを介した所有権検証が可能であり、実用的で安全なIP保護要件を満たしている。
• 本手法は、先行手法の限界を克服し、セキュリティ、法的整合性、実用性を同時に満たす最初のDNN水 Stamper スキームである。
• 実験結果から、水 Stamper プロセスが主な学習タスクにおけるモデルのパフォーマンスを低下させないことが確認された。
• 不可視性と検出可能性のバランスを適切に保っているため、実世界での展開に適している。