[論文レビュー] Spread-Transform Dither Modulation Watermarking of Deep Neural Network

Yue Li, Benedetta Tondi+1 more|arXiv (Cornell University)|Dec 28, 2020

Advanced Steganography and Watermarking Techniques参考文献 20被引用数 4

ひとこと要約

本稿では、損失関数内にサイド情報を利用した量子化相関メカニズムを組み込んだ、スプレッド・トランスフォーム・ダイザ・モデュレーション（ST-DM）に基づく新しいDNN水 Stamming手法を提案する。この手法により、容量を向上させるとともに、精度の低下を低減する。実験では、従来のスプレッドスペクトラム（SS）水 Stamming法と比較して、より高い容量と低いテスト誤差を達成しているが、同時に、プルーニングやファインチューニングに対しても耐性を示す。

ABSTRACT

DNN watermarking is receiving an increasing attention as a suitable mean to protect the Intellectual Property Rights associated to DNN models. Several methods proposed so far are inspired to the popular Spread Spectrum (SS) paradigm according to which the watermark bits are embedded into the projection of the weights of the DNN model onto a pseudorandom sequence. In this paper, we propose a new DNN watermarking algorithm that leverages on the watermarking with side information paradigm to decrease the obtrusiveness of the watermark and increase its payload. In particular, the new scheme exploits the main ideas of ST-DM (Spread Transform Dither Modulation) watermarking to improve the performance of a recently proposed algorithm based on conventional SS. The experiments we carried out by applying the proposed scheme to watermark different models, demonstrate its capability to provide a higher payload with a lower impact on network accuracy than a baseline method based on conventional SS, while retaining a satisfactory level of robustness.

研究の動機と目的

• 商業的・分散型AIシステムにおける深層ニューラルネットワーク（DNN）の知的財産権（IPR）を保護するニーズの増大に対応する。
• 従来のスプレッドスペクトラム（SS）水 Stamming手法に起因する、高精度の低下や低容量化といった限界を克服する。
• インフォームド・ウォーターマーキング・パラダイム（特にST-DM）を活用し、ウォーターマークの目立たなさを低減するとともに、埋め込み効率を向上させる。
• 一般的なモデル攻撃、例えばパラメータのプルーニングやファインチューニングに対しても耐性を確保しつつ、高いウォーターマーク抽出信頼性を維持する。
• ST-DMに基づくウォーターマークが、従来のSSベースの手法と比較して、容量、精度、耐性のトレードオフをより良好に達成できることを示す。

提案手法

• ネットワーク重みと擬似ランダムなスプレッドシーケンスの間の相関を、ウォーターマークビット（0または1）に対応する量子化値に強制するための新しい正則化項をDNN学習損失関数に導入する。
• ウォーターマークをダイザモードに変調する前に、スプレッドシーケンスに投影することで、ST-DMフレームワークを適用し、低歪みと高い耐性を実現する。
• ウォーターマークビット値（0または1）を表現するために、交互に配置された等間隔の量子化器を使用し、サイド情報を利用したインフォームドコーディングにより2値のウォーターマーク埋め込みを可能にする。
• 異なるビット用に異なるスプレッドシーケンスを使用することで、マルチビットウォーターマークを実現し、スケーラブルな容量を達成する。
• ウォーターマークを最適化プロセス中に直接埋め込むため、後処理ではなく、訓練からスクラッチでDNNを学習する。
• DMおよびST-DMが信号摂動（プルーニングやファインチューニング攻撃など）に対して inherently ロバストであることに基づき、耐性を強化する。

実験結果

リサーチクエスチョン

• RQ1 ST-DMベースのウォーターマークは、DNNにおける従来のスプレッドスペクトラム（SS）ウォーターマークと比較して、より高い容量と低い精度低下を達成できるか？
• RQ2 本手法は、パラメータのプルーニング攻撃に対してどのように動作するか？また、ベースラインのSS手法と同等の耐性を示すか？
• RQ3 ST-DMによるインフォームドコーディングの統合により、ウォーターマークの目立たなさが低減され、高いウォーターマーク抽出信頼性が維持されるか？
• RQ4 本手法における、プルーニングおよびファインチューニング攻撃下でのウォーターマーク容量とテスト誤差率のトレードオフはいかなるものか？
• RQ5 攻撃者がウォーターマーク手法の詳細を把握している状況でも、本手法はウォーターマークの上書き攻撃に耐えられるか？

主な発見

• 提案手法であるST-DMベースのウォーターマークは、UchidaらのSSベース手法と比較して、より高い容量と低いテスト誤差率を達成しており、効率性の向上が示された。
• conv4層に256ビットのウォーターマークを埋め込んだ場合、W-DM-WRNは70％のプルーニングでもBERが0のまま維持され、W-WRNも同様に70％までBER=0を維持した。両者とも同等の耐性を示した。
• 30％のプルーニング時、W-DM-WRNのテスト誤差率（TER）は8.87％、W-WRNは8.99％であり、いずれもベースラインモデルが10％のプルーニングで示した8.73％よりも顕著に低い値であった。
• 256ビットのウォーターマークを含むconv4層では、テスト誤差がベースラインを上回るようになるまでの最大プルーニング率は20％であり、他の層では10％であった。両モデルとも同程度の耐性を示した。
• 60％までのプルーニングレベルで、両モデルのBERは0のまま維持され、パラメータ削除に対する強い耐性が裏付けられた。
• 60％までの全テストプルーニングレベルでBERが0であったため、構造的モデル変更に対して高い信頼性と耐性が確認された。