[論文レビュー] AdvParams: An Active DNN Intellectual Property Protection Technique via Adversarial Perturbation Based Parameter Encryption

Mingfu Xue, Zhiyu Wu+3 more|arXiv (Cornell University)|May 28, 2021

Adversarial Robustness in Machine Learning参考文献 22被引用数 4

ひとこと要約

この論文では、AdvParamsを提案する。AdvParamsは、攻撃的摂動を用いて最小限の重要なモデルパラメータを暗号化することで、不正利用者に対してモデルの正確性を著しく低下させるが、秘密鍵を有する正規ユーザーに対しては高い正確性を維持する、アクティブな深層ニューラルネットワーク（DNN）の知的財産保護手法である。この手法は、再訓練やハードウェア支援を必要とせず、GTSRBで最大87.91%の正確性低下を達成している。

ABSTRACT

A well-trained DNN model can be regarded as an intellectual property (IP) of the model owner. To date, many DNN IP protection methods have been proposed, but most of them are watermarking based verification methods where model owners can only verify their ownership passively after the copyright of DNN models has been infringed. In this paper, we propose an effective framework to actively protect the DNN IP from infringement. Specifically, we encrypt the DNN model's parameters by perturbing them with well-crafted adversarial perturbations. With the encrypted parameters, the accuracy of the DNN model drops significantly, which can prevent malicious infringers from using the model. After the encryption, the positions of encrypted parameters and the values of the added adversarial perturbations form a secret key. Authorized user can use the secret key to decrypt the model. Compared with the watermarking methods which only passively verify the ownership after the infringement occurs, the proposed method can prevent infringement in advance. Moreover, compared with most of the existing active DNN IP protection methods, the proposed method does not require additional training process of the model, which introduces low computational overhead. Experimental results show that, after the encryption, the test accuracy of the model drops by 80.65%, 81.16%, and 87.91% on Fashion-MNIST, CIFAR-10, and GTSRB, respectively. Moreover, the proposed method only needs to encrypt an extremely low number of parameters, and the proportion of the encrypted parameters of all the model's parameters is as low as 0.000205%. The experimental results also indicate that, the proposed method is robust against model fine-tuning attack and model pruning attack. Moreover, for the adaptive attack where attackers know the detailed steps of the proposed method, the proposed method is also demonstrated to be robust.

研究の動機と目的

• 侵害発生後に所有権を検証するのみである受動的ウォーターマーキング手法の限界を解決すること。
• 侵害が発生する前に不正利用を防止するアクティブなDNN IP保護メカニズムを開発すること。
• 再訓練やハードウェア依存を回避することで、計算オーバーヘッドを最小限に抑えること。
• 微調整、プルーニング、適応的攻撃などの一般的な攻撃に対して耐性を確保すること。

提案手法

• 損失関数の重みに関する勾配を計算することで、モデルパラメータの影響度を特定する。
• 選択されたパラメータに標的攻撃的摂動を適用し、性能劣化を最大化する。
• 暗号化されたパラメータの位置と摂動値を含む秘密鍵を生成する。
• 正規ユーザーが復号化時に元のモデル動作を復元できるように秘密鍵を用いる。
• わずかなパラメータ変更（最大ケースで23パラメータのみ暗号化）を実現し、検出不能な摂動の大きさを維持する。
• 攻撃者が手法のメカニズムを把握している状況でも、微調整、プルーニング、適応的攻撃に対して耐性を示すことを実証する。

実験結果

リサーチクエスチョン

• RQ1 攻撃的摂動を用いて、わずかに重要なパラメータを特定的に暗号化することで、不正利用者に対してDNNモデルを無効化できるか？
• RQ2 提案手法は、不正利用者に対して正確性を著しく低下させつつ、正規ユーザーに対して高い正確性を維持できるか？
• RQ3 微調整やプルーニング攻撃に対して、この手法は耐性を示すのか？これらの攻撃はモデルの機能回復を試みる。
• RQ4 再訓練やハードウェア依存なしに適用可能か？実世界の展開において計算オーバーヘッドを低く抑えられるか？
• RQ5 攻撃者が暗号化メカニズムの内部ステップを完全に把握している状況でも、この手法は有効に機能するか？

主な発見

• 不正利用者に対して、Fashion-MNIST、CIFAR-10、GTSRBでそれぞれ80.65%、81.16%、87.91%のテスト正確性低下が発生した。
• 最大ケースでは23パラメータのみが暗号化され、全モデルパラメータの0.000205%に過ぎない。
• 正規ユーザーは3つのデータセットでそれぞれ91.01%、92.02%、94.85%の正確性を維持した。
• 微調整攻撃後、正確性は最低61.66%まで低下した。プルーニング後は17.64%まで低下した。
• 適応的攻撃（攻撃者が手法の内部ステップを把握）の状況でも、正確性は低く保たれ、Fashion-MNISTで56.28%、CIFAR-10で62.03%、GTSRBで63.92%であった。
• 再訓練やハードウェア支援を一切必要としないため、商業的展開に実用的である。