[論文レビュー] Have You Stolen My Model? Evasion Attacks Against Deep Neural Network Watermarking Techniques

Dorjan Hitaj, Luigi V. Mancini|arXiv (Cornell University)|Sep 3, 2018

Adversarial Robustness in Machine Learning参考文献 23被引用数 42

ひとこと要約

この論文は DNN ウォーターマーキングに対する二つの回避攻撃を示す：アンサンブルモデル攻撃と検出機構ベースの攻撃の双方が、ウォーターマーク所有者による検証を失敗させることを可能にする。

ABSTRACT

Deep neural networks have had enormous impact on various domains of computer science, considerably outperforming previous state of the art machine learning techniques. To achieve this performance, neural networks need large quantities of data and huge computational resources, which heavily increases their construction costs. The increased cost of building a good deep neural network model gives rise to a need for protecting this investment from potential copyright infringements. Legitimate owners of a machine learning model want to be able to reliably track and detect a malicious adversary that tries to steal the intellectual property related to the model. Recently, this problem was tackled by introducing in deep neural networks the concept of watermarking, which allows a legitimate owner to embed some secret information(watermark) in a given model. The watermark allows the legitimate owner to detect copyright infringements of his model. This paper focuses on verifying the robustness and reliability of state-of- the-art deep neural network watermarking schemes. We show that, a malicious adversary, even in scenarios where the watermark is difficult to remove, can still evade the verification by the legitimate owners, thus avoiding the detection of model theft.

研究の動機と目的

• MLaaS および専有設定において、著作権侵害から ML モデルを保護する必要性を動機づけ、形式化すること。
• バックドア攻撃に基づく最先端の DNN ウォーターマーキング技術を、敵対者に対するRobustnessの観点からレビューし、検証すること。
• ウォーターマーク検証を妨げつつサービス品質を維持する実践的な回避戦略を demonstrate すること。

提案手法

• エンサンブル攻撃を提案：複数の異なる提供者から高品質なモデルを盗み、それらを API レイヤーの背後にある多数決のエンサンブルに統合してウォーターマーク検証を回避する。
• unseen watermark triggers act as random inputs, reducing the likelihood of correct watermark verification under majority voting.
• Ensemble setup where watermark triggers are non-intersecting across models, and evaluate verification success as ensemble size varies.
• Detector Attack を提案：盗用モデルの特徴を用いて二値分類器（Detector）を訓練し、ウォーターマークトリガーを検知して疑似トリガーにはランダム予測を返す。
• ResNet50, InceptionV3, Xception, VGG16, VGG19 の事前学習済みネットワークを用いて Detector の性能を評価し、検出精度を 90% 以上とする。
• MNIST スケールの実験で手法を実証し、ImageNet のような大規模タスクへの適用性について議論する。

実験結果

リサーチクエスチョン

• RQ1 モデルが盗まれ、他のモデルのエンサンブルを介して提供されている場合、ウォーターマーク検証は信頼性を持って実行できるか？
• RQ2 対象となるウォーターマーク トリガーの存在を、エンサンブル投票や検出機構を通じて偽装しても、通常のタスク精度を犠牲にせずに済むか？
• RQ3 MLaaS 設定において、これらの回避戦略を実装するための現実性とコストはどれくらいか？
• RQ4 ブラックボックスアクセスの下で、現在のバックドアベースのウォーターマークは回避に対してどれほど頑健か？

主な発見

• アンサンブル攻撃はウォーターマーク検証の成功率を著しく低下させる。七モデルのエンサンブルでは、MNIST での検証可能なウォーターマーク所有権は約 25.5% に低下し、より大きなタスクや小さなエンサンブルでは約 15–34% となる。
• 小規模なエンサンブル（三モデル）でも実質的な回避を可能にし、MNIST の検証済みウォーターマークの割合は、試験的設定で約 34% となる。
• Detector Attack は検出精度を高く保つことを可能にし（盗用モデルに依存して約 91–95%）、ウォーターマークトリガーを検知してランダム予測を出力し、各トリガーの検証成功率を出力空間サイズ l に対して 1/l に低下させる。
• 敵対者が盗用モデルを用いた MLaaS を展開した場合、正規の所有者にとってウォーターマーク検証は信頼性を欠くままであり、クリーンな入力に対するサービス品質はエンサンブルの利点により維持または向上する。
• 実験はブラックボックスアクセス下で両方の攻撃の実現可能性を示しており、Adi らのようにバックドア付きウォーターマークに対する現実的なリスクを浮き彫りにしている。