[論文レビュー] HufuNet: Embedding the Left Piece as Watermark and Keeping the Right Piece for Ownership Verification in Deep Neural Networks

Peizhuo Lv, Li Pan+5 more|arXiv (Cornell University)|Mar 25, 2021

Adversarial Robustness in Machine Learning参考文献 43被引用数 4

ひとこと要約

HufuNetは、DNNの所有権を検証するために、モデルの左半分に軽量な水 Stamper（EPH）を埋め込み、対応する秘密鍵（SPH）を所有者側に保持する、画期的なDNN水 Stamper方式を提案する。本手法は、微調整、プルーニング、カーネル操作、および悪意あるサンプルを用いた偽の所有権主張に対して高い耐性を示し、ベンチマークモデルにおける性能劣化は無視できるほど小さい。

ABSTRACT

Due to the wide use of highly-valuable and large-scale deep neural networks (DNNs), it becomes crucial to protect the intellectual property of DNNs so that the ownership of disputed or stolen DNNs can be verified. Most existing solutions embed backdoors in DNN model training such that DNN ownership can be verified by triggering distinguishable model behaviors with a set of secret inputs. However, such solutions are vulnerable to model fine-tuning and pruning. They also suffer from fraudulent ownership claim as attackers can discover adversarial samples and use them as secret inputs to trigger distinguishable behaviors from stolen models. To address these problems, we propose a novel DNN watermarking solution, named HufuNet, for protecting the ownership of DNN models. We evaluate HufuNet rigorously on four benchmark datasets with five popular DNN models, including convolutional neural network (CNN) and recurrent neural network (RNN). The experiments demonstrate HufuNet is highly robust against model fine-tuning/pruning, kernels cutoff/supplement, functionality-equivalent attack, and fraudulent ownership claims, thus highly promising to protect large-scale DNN models in the real-world.

研究の動機と目的

• 既存のDNN水 Stamper方式が微調整、プルーニング、および悪意あるサンプルを用いた偽の所有権主張に対して脆弱であるという問題に対処すること。
• 高いモデル性能を維持しつつ、一般的なモデル改ざん攻撃に対して強い耐性を持つ水 Stamper機構を設計すること。
• 悪意あるサンプルをトリガーとして利用して正当な水 Stamperを偽造する攻撃を防ぐこと。
• 統計的分析や逆エンジニアリングから水 Stamperを暴露せずに、信頼性の高いブレイン所有権検証を可能にすること。
• 実世界の展開において大規模なDNNの知的財産を保護するための実用的で安全かつ巧妙なソリューションを提供すること。

提案手法

• HufuNetは水 Stamperを二つの部分に分割する：DNNモデルのパラメータに埋め込まれる「埋め込みHufu部（EPH）」と、モデル所有者が安全に保持する「秘密Hufu部（SPH）」。
• EPHはDNNのほぼすべての層に分散して配置され、パラメータ空間のわずかな部分を占めるため、検出のしにくさと統計的分析に対する耐性が確保される。
• 所有権の検証は、SPHから導出された特定の入力を用いてモデルの出力を測定し、期待される出力と照合することで実施され、SPHが秘密鍵として機能する。
• 本手法は、カーネルのカットオフ／補完、機能的同等の攻撃、および大規模な学習率とラベルなしデータを用いた微調整に対しても耐性を示すように設計されている。
• バックドアトリガーまたはラベル付き悪意あるサンプルに依存しないため、悪意あるサンプルの利用による偽の主張のリスクが低減される。
• 本手法は、4つのベンチマークデータセットで5つの代表的なDNNアーキテクチャ（CNNおよびRNN）を対象に評価され、耐性と忠実度の両面で妥当性が検証された。

実験結果

リサーチクエスチョン

• RQ1 微調整やプルーニングの後でも、性能劣化が顕著でない状態で、水 Stamper方式が有効に機能するか。
• RQ2 悪意あるサンプルを偽のトリガーとして利用する攻撃に対して、本方式が耐性を示せるか。
• RQ3 層のパラメータ分散の統計的分析によって検出されないよう、水 Stamperを埋め込むことが可能か。
• RQ4 構造を変更しながらもモデルの精度を維持する機能的同等の攻撃に対して、本方式は効果的か。
• RQ5 モデルの忠実度を損なわず、多様なDNNアーキテクチャおよびデータセットに普遍的に適用可能か。

主な発見

• HufuNetは、4つのベンチマークデータセットでテストされた5つのDNNモデルすべてにおいて、微調整およびプルーニングに対して高い耐性を示し、顕著な性能劣化は認められなかった。
• 悪意あるサンプルを偽のトリガーとして使用する攻撃に対し、本方式は効果的に対抗し、偽の所有権主張を防いだ。
• EPHはほぼすべての層に分散配置されており、検出可能な統計的分散差を最小限に抑え、統計的分析に対する隠蔽性が向上した。
• カーネルのカットオフ／補完および蒸留ベースの攻撃に対しても、HufuNetは元のモデルとほぼ同一の精度を維持し、性能劣化は無視できるほど小さい。
• 機能的同等の攻撃に対しても耐性を示し、内部構造を変更しながらもモデルの振る舞いを保持した。
• SPH秘密鍵を用いた検証により、水 Stamperが埋め込まれたモデルを正しく特定し、無関係または改ざんされたモデルを偽陽性なしに拒否した。