[論文レビュー] DeepMarks: A Digital Fingerprinting Framework for Deep Neural Networks

Huili Chen, Bita Darvish Rohani+1 more|arXiv (Cornell University)|Apr 10, 2018

Digital Media Forensic Detection参考文献 21被引用数 42

ひとこと要約

DeepMarks は直交および BIBD ベースの符号化コードを用いてニューラルネットワークの重みに固有の指紋を埋め込み、知的財産を保護し、モデルの変換下での所有者識別と共犯者検出を可能にします。

ABSTRACT

This paper proposes DeepMarks, a novel end-to-end framework for systematic fingerprinting in the context of Deep Learning (DL). Remarkable progress has been made in the area of deep learning. Sharing the trained DL models has become a trend that is ubiquitous in various fields ranging from biomedical diagnosis to stock prediction. As the availability and popularity of pre-trained models are increasing, it is critical to protect the Intellectual Property (IP) of the model owner. DeepMarks introduces the first fingerprinting methodology that enables the model owner to embed unique fingerprints within the parameters (weights) of her model and later identify undesired usages of her distributed models. The proposed framework embeds the fingerprints in the Probability Density Function (pdf) of trainable weights by leveraging the extra capacity available in contemporary DL models. DeepMarks is robust against fingerprints collusion as well as network transformation attacks, including model compression and model fine-tuning. Extensive proof-of-concept evaluations on MNIST and CIFAR10 datasets, as well as a wide variety of deep neural networks architectures such as Wide Residual Networks (WRNs) and Convolutional Neural Networks (CNNs), corroborate the effectiveness and robustness of DeepMarks framework.

研究の動機と目的

• Distributed deep learning models の知的財産を、精度を犠牲にせずにモデル重みへ一意の指紋を埋め込むことで保護する。
• モデル共有シナリオにおいて、所有者が個々のユーザを識別し共犯者を検出できるようにする。
• 異なるアーキテクチャとデータセットに適用可能な、拡張性が高く頑健な指紋付けフレームワークを提供する。
• DL のウォーターマーキング／指紋付け性能の指標と評価手法を提案する。

提案手法

• 各ユーザに v-bit のコードベクトル（指紋）を割り当て、選択された層の重み分布に埋め込み損失を追加した通常の訓練損失により埋め込む。
• 隠し回帰 projection X と平坦化・平均化したターゲット層の重み w を用いて、L = L0 + γ MSE(fj − Xw) の加法的埋め込み項を用いて指紋を重み分布に埋め込む。
• 小規模なユーザ群には直交変調を、Many users and collusion resistance を支えるために balanced incomplete block designs (BIBD) に基づく anti-collusion codes (ACC) を用いた符号化変調を用いる。
• 指紋を直交基底ベクトルとして（各ユーザに直交行列の固有の列が割り当てられる）または BIBD-ACC コードブックを用いた基底ベクトルの線形結合として構成する。
• 推論時に基底と抽出された重みとの相関を用いて指紋をデコードし、ユーザコードベクトルを回復し、ACC デコoding により共犯者を検出する。
• (31,6,1)-BIBD ACC コードブックを用いた符号化指紋で、ファインチューニング、剪定、共謀攻撃に対する頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 DeepMarks は DNN 重みに一意の指紋を埋め込みつつモデルの精度を劣化させずに信頼性を確保できるか？
• RQ2 直交方式と符号化方式（BIBD-ACC）を用いて、いくつの分散ユーザに一意の指紋をサポートできるか？
• RQ3 埋め込まれた指紋はファインチューニング、剪定、共謀攻撃といった一般的な DL 変換に対してどれくらい頑健か？
• RQ4 実用的な DNN 共有シナリオにおいて、個々のユーザと共犯者の両方を正確に識別できるか？

主な発見

• 指紋埋め込みは MNIST-CNN および CIFAR10-WRN のベンチマーク下でタスク精度を維持またはわずかに向上させる。
• (31,6,1)-BIBD ACC コードブックを用いると、最大で 5 名の共犯者を一意に識別でき、検出率は 100%、偽陽性率は 0% の実験結果。
• BIBD-ACC を用いた符号化指紋付けは指紋次元を超えるスケーラブルなユーザサポートを可能にし、共謀攻撃に対して頑健である。
• 検出率と偽陽性率は、同じ共犯者数に対して MNIST-CNN と CIFAR10-WRN のベンチマークで一貫している。
• 忠実度の結果（表 III）では、MNIST-CNN で基準モデル 99.52、指紋付きで 99.72、CIFAR10-WRN で基準 91.85、指紋付きで 92.03 の精度を示す。
• フレームワークの共犯者検出性能は ACC コードブックのパラメータに依存する。 (31,6,1) と (13,4,1) のコードブックを比較すると、衝突耐性と偽陽性の特性が異なることが示される。