[論文レビュー] Deep Serial Number: Computational Watermarking for DNN Intellectual Property Protection

Ruixiang Tang, Mengnan Du+1 more|arXiv (Cornell University)|Nov 17, 2020

Adversarial Robustness in Machine Learning参考文献 24被引用数 9

ひとこと要約

本論文は、知識蒸留を介して生徒モデルに固有のシリアル番号を埋め込むことで、有効なシリアル番号がなければモデルが機能しないように保証する、新しいDNNの知的財産保護フレームワークであるDeep Serial Number（DSN）を提案する。この手法は、不正利用を効果的に防止しつつ、元のモデル性能を維持し、ホワイトボックス水増し攻撃に対しても強力である。

ABSTRACT

In this paper, we present DSN (Deep Serial Number), a simple yet effective watermarking algorithm designed specifically for deep neural networks (DNNs). Unlike traditional methods that incorporate identification signals into DNNs, our approach explores a novel Intellectual Property (IP) protection mechanism for DNNs, effectively thwarting adversaries from using stolen networks. Inspired by the success of serial numbers in safeguarding conventional software IP, we propose the first implementation of serial number embedding within DNNs. To achieve this, DSN is integrated into a knowledge distillation framework, in which a private teacher DNN is initially trained. Subsequently, its knowledge is distilled and imparted to a series of customized student DNNs. Each customer DNN functions correctly only upon input of a valid serial number. Experimental results across various applications demonstrate DSN's efficacy in preventing unauthorized usage without compromising the original DNN performance. The experiments further show that DSN is resistant to different categories of watermark attacks.

研究の動機と目的

• 実世界の応用において急速に増加するDNNモデルの盗難および不正再配布の脅威に対処すること。
• ホワイトボックスアクセスを必要とするか、転移学習や削除攻撃に対して脆弱な既存の水増し法の限界を克服すること。
• 従来のソフトウェアライセンスにインspiredされた、シリアル番号ベースのDNNアクセス制御メカニズムを実装すること。
• 有効なシリアル番号を持つのみが、モデルのデプロイおよび使用を許可されることを保証すること。
• 敵対的攻撃に耐性があり、ブラックボックス互換性が高く、実用的なDNN知的財産保護システムを構築すること。

提案手法

• まず教師DNNをラベル付きデータセットで訓練し、その後複数の生徒DNNに知識を蒸留する。
• 各生徒DNNは、蒸留プロセス中に固有のシリアル番号でカスタマイズされ、その番号がモデルの推論論理に埋め込まれる。
• 推論時、正しいシリアル番号が入力として提供されない限り、モデルは正しく予測を行わない。
• シリアル番号はモデルのパラメータや重みに埋め込まれるのではなく、処理前に入力を検証する条件付き推論メカニズムによって強制される。
• 知識蒸留を活用することで、元のモデルの性能を維持しつつ、シリアル番号を機能的アクセス制御メカニズムとして統合する。
• シリアル番号の検証とモデル機能が密接に結合されているため、ホワイトボックス攻撃（モデル抽出や水増しの削除）に対しても耐性がある。

実験結果

リサーチクエスチョン

• RQ1 DNNに効果的にシリアル番号メカニズムを埋め込むことで、不正なデプロイを防止できるか？
• RQ2 元のモデル性能を損なわずにシリアル番号を強制できるか？
• RQ3 本手法は、モデル抽出や水増しの削除を含むホワイトボックス攻撃に対し、耐性があるか？
• RQ4 複数の承認済みユーザーが個別にシリアル番号を有する状況でも、セキュリティとスケーラビリティを維持できるか？
• RQ5 DSNフレームワークは、既存の水増し技術と比較して、耐性および実用性の面で優れているか？

主な発見

• DSNは、正しい推論を行うために有効なシリアル番号が必要であるため、DNNの不正使用を効果的に防止する。これにより、認可済みユーザーのみがモデルを運用できる。
• さまざまな応用分野において、元のDNN性能が維持され、主タスクの精度に測定可能な低下がない。
• 敵対者がフレームワークの完全なホワイトボックスアクセスを持つ状況でも、DSNは水増し攻撃（抑制、削除、上書き）に対して強い耐性を示す。
• 転移学習攻撃に対しても堅牢であり、上位層を置き換えることでシリアル番号要件を回避できない。
• 実世界のデータセットを用いた実験結果から、シリアル番号が単なる統計的水増しではなく、機能的アクセス制御メカニズムとして効果的に強制されていることが確認された。
• ブラックボックス所有者検証が可能であり、複数の顧客に個別シリアル番号をスケーラブルに提供できるため、実装に実用的である。