[論文レビュー] Copy, Right? A Testing Framework for Copyright Protection of Deep Learning Models

Jialuo Chen, Jingyi Wang+7 more|arXiv (Cornell University)|Dec 10, 2021

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本稿では、深層学習モデルの著作権保護のための非侵襲的で効率的かつ柔軟なテストフレームワークであるDeepJudgeを提案する。複数のメトリクスと適応的テストケース生成を用いて、モデル類似度を定量的に測定し、微調整、剪定、抽出攻撃の下でも高い正確性と適応的攻撃に対する頑健性を示して、模造モデルを効果的に検出できた。

ABSTRACT

Deep learning (DL) models, especially those large-scale and high-performance ones, can be very costly to train, demanding a great amount of data and computational resources. Unauthorized reproduction of DL models can lead to copyright infringement and cause huge economic losses to model owners. Existing copyright protection techniques are mostly based on watermarking, which embeds an owner-specified watermark into the model. While being able to provide exact ownership verification, these techniques are 1) invasive, as they need to tamper with the training process, which may affect the utility or introduce new security risks; 2) prone to adaptive attacks that attempt to remove the watermark; and 3) not robust to the emerging model extraction attacks. Latest fingerprinting work, though being non-invasive, also falls short when facing the diverse and ever-growing attack scenarios. In this paper, we propose a novel testing framework for DL copyright protection: DEEPJUDGE. DEEPJUDGE quantitatively tests the similarities between two DL models: a victim model and a suspect model. It leverages a diverse set of testing metrics and test case generation methods to produce a chain of supporting evidence to help determine whether a suspect model is a copy of the victim model. Advantages of DEEPJUDGE include: 1) non-invasive, as it works directly on the model and does not tamper with the training process; 2) efficient, as it only needs a small set of test cases and a quick scan of models; 3) flexible, as it can easily incorporate new metrics or generation methods to obtain more confident judgement; and 4) fairly robust to model extraction and adaptive attacks. We verify the effectiveness of DEEPJUDGE under typical copyright infringement scenarios, including model finetuning, pruning and extraction, via extensive experiments on both image and speech datasets with a variety of model architectures.

研究の動機と目的

• 深層学習モデルの不正複製に対する、侵襲的ウォーターマークや壊れやすいフィンガープrintの限界を解消すること。
• 訓練プロセスを変更せずに、モデル抽出や適応的改変などの多様な攻撃に対して耐性を持つ著作権保護手法を開発すること。
• 微調整、剪定、トランスファーラーニングなどのさまざまな攻撃シナリオにおいて、模造モデルの検出を可能にすること。
• 新しいテストメトリクスやテストケース生成技術の統合を可能にする、柔軟で拡張可能なフレームワークを提供すること。
• モデル所有者が訓練プロセスを変更せずに所有権を検証できる実用的でオープンソースのソリューションを提供すること。

提案手法

• DeepJudgeは、多段階のテストフレームワークを採用しており、被害者モデルと疑惑モデルの間の類似度を、精度、頑健性距離、Jensen-Shannonダイバージェンス、その他の行動的類似度測定など、多様なメトリクスを用いて評価する。
• 効率的なシードベースのテストケース生成により、異なる入力領域におけるモデル動作を探索し、モデル出力の迅速なスキャンを可能にする。
• ブラックボックスおよびホワイトボックステストをサポートし、トランスファーラーニングや剪定後のモデルアーキテクチャや出力次元に対しても適応可能である。
• 敵対的訓練やモデル抽出などの適応的攻撃に対して、テストケースのシードを動的に更新することで、検出感度を維持する。
• 複数のメトリクスを通じて証拠の連鎖を計算し、閾値（例：τλ）を用いて疑惑モデルがコピーであるかどうかを判断する。
• 新しいテストメトリクスや生成戦略を容易に統合でき、検出の頑健性と信頼性を向上させることができる。

実験結果

リサーチクエスチョン

• RQ1 訓練プロセスを変更せずに、非侵襲的テストフレームワークがモデル盗難を効果的に検出できるか。
• RQ2 敵対的訓練、モデル抽出、微調整などの適応的攻撃に対して、このフレームワークはどの程度頑健か。
• RQ3 多様なモデルアーキテクチャやデータセットにおいて、高い検出正確性を維持できるか。
• RQ4 モデル構造が変更されるトランスファーラーニングのシナリオでも、このフレームワークは効果的に機能するか。
• RQ5 複数のテストメトリクスを統合することで、単一メトリクス手法に比べて検出信頼性が向上するか。

主な発見

• SVHNにおける5クラス分類タスクにおいて、DeepJudgeはトランスファーラーニング攻撃の検出で100% AUCを達成し、強力な検出能力を示した。
• ブラックボックステストでは、Adapt-B攻撃の6つの適応的攻撃モデルのうち4つが正しくコピーと特定され、閾値τλ = 0.816を用いた。
• ホワイトボックステストでは、Adapt-W攻撃の6つのモデルのうち4つがコピーとしてフラグ付けされ、閾値τλ = 0.537を用いた。
• 敵対的訓練に対しても、DeepJudgeは高い検出性能を維持し、6つのモデルのうち4つが正しくコピーと特定された（AUC = 1.0）。
• ネガティブコントロールモデル（例：Neg-1およびNeg-2）は、常に閾値をはるかに上回る値で非コピーと分類され、偽陽性率が低かった。
• DeepJudgeはモデル抽出攻撃に対しても耐性を示し、APIベースのクエリから導出された疑惑モデルに対しても、検出性能が持続した。