[論文レビュー] Domain Watermark: Effective and Harmless Dataset Copyright Protection is Closed at Hand

Junfeng Guo, Yiming Li+5 more|arXiv (Cornell University)|Oct 9, 2023

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、深層ニューラルネットワーク（DNN）の表現空間から一般化が難しいとされるサンプルを活用して、悪意のある行動を導入せず、かつ目立たない水増しを施した水性のデータセット著作権保護手法「ドメインウォーターマーク」を提案する。この手法は、通常のモデルが誤分類する『難しい』サンプルを正しく分類できるようにモデルを訓練することで、悪意のない行動をとる水性モデルを実現し、所有権の検証を可能にする。高い検証精度と、データ増強およびドメイン適応攻撃に対して強い耐性を示す。

ABSTRACT

The prosperity of deep neural networks (DNNs) is largely benefited from open-source datasets, based on which users can evaluate and improve their methods. In this paper, we revisit backdoor-based dataset ownership verification (DOV), which is currently the only feasible approach to protect the copyright of open-source datasets. We reveal that these methods are fundamentally harmful given that they could introduce malicious misclassification behaviors to watermarked DNNs by the adversaries. In this paper, we design DOV from another perspective by making watermarked models (trained on the protected dataset) correctly classify some `hard' samples that will be misclassified by the benign model. Our method is inspired by the generalization property of DNNs, where we find a \emph{hardly-generalized domain} for the original dataset (as its \emph{domain watermark}). It can be easily learned with the protected dataset containing modified samples. Specifically, we formulate the domain generation as a bi-level optimization and propose to optimize a set of visually-indistinguishable clean-label modified data with similar effects to domain-watermarked samples from the hardly-generalized domain to ensure watermark stealthiness. We also design a hypothesis-test-guided ownership verification via our domain watermark and provide the theoretical analyses of our method. Extensive experiments on three benchmark datasets are conducted, which verify the effectiveness of our method and its resistance to potential adaptive methods. The code for reproducing main experiments is available at \url{https://github.com/JunfengGo/Domain-Watermark}.

研究の動機と目的

• 既存のバックドアベースのデータセット所有権検証（DOV）手法における根本的な問題である、水性モデルに悪意のある誤分類行動を導入することを解消すること。
• モデルの安全性や性能を損なわない、真正に無害なDOV手法を設計すること。
• DNNの一般化特性を活用して、元のデータセット内の『一般化が難しいドメイン』を特定・水性化すること。
• 視覚的に区別がつかないクリーンラベルの変更データを用いて、水性の目立たなさ（ステルス性）を確保すること。
• 理論的保証を有する仮説検定誘導型検証メカニズムの開発

提案手法

• 元のデータセットから一般化が難しいドメインを学習するため、二段階最適化問題としてドメイン生成を定式化する。
• 変換モジュールを用いて、元のデータと視覚的に類似しているが、水性モデルによって正しく分類されるドメイン水性化サンプルを生成する。
• ドメイン水性化のためのクリーンラベルで視覚的に区別がつかない変更データの集合を最適化し、ステルス性を確保する。
• ドメイン水性化を用いた所有権検出を可能にする仮説検定誘導型検証プロトコルを設計する。
• この手法の根拠は、通常モデルが誤分類するが、水性モデルは正しく分類する『難しい』サンプルの存在に依存している。
• 理論的分析により、本手法の耐性および検証の信頼性が裏付けられる。

Figure 1: The main pipeline of dataset ownership verification with backdoor-based dataset watermarks and our domain watermark, where BW Sample represents existing backdoor-watermarked sample while DW Sample represents our proposed domain-watermarked sample. Existing backdoor-based methods make the w

実験結果

リサーチクエスチョン

• RQ1 水性モデルに有害な誤分類行動を導入せずに、データセット所有権検証を達成できるか？
• RQ2 DNNが難しいサンプルで一般化に失敗する性質を活用して水性化することは可能か？
• RQ3 バックドアを用いずに、効果的かつステルス性のある水性化は可能か？
• RQ4 提案手法は一般的なデータ増強およびドメイン適応技術に対して耐性を示せるか？
• RQ5 ドメイン水性化手法の有効性と耐性の理論的根拠は何か？

主な発見

• CIFAR-10およびTiny-ImageNetにおいて、強力なデータ増強下でも100％の検証精度（p値 ≫ 0.05）を達成し、このような攻撃に対して強い耐性を示した。
• CIFAR-10では、L2Dドメイン適応下でも検証成功率（VSR）が86.10％、ΔPが0.63を維持し、強い耐性を示した。
• Tiny-ImageNetでは、L2D下でもVSRが42.00％、ΔPが0.53を達成し、通常モデルの精度が低くても一貫した性能を示した。
• データ増強に対して強い耐性を示しており、強力な増幅処理後でもドメイン水性化サンプルで顕著な誤分類が認められず（p値＝1.00）、その効果が保たれている。
• 不正モデルが微調整や適応処理を受けても、検証力が高く維持され、検証結果の統計的有意性を示すp値が得られた。
• 理論的基盤が明確であり、3つのベンチマークデータセットにわたる強力な実証的妥当性を有する仮説検定誘導型検証メカニズムを提供している。

Figure 2: The workflow of dataset ownership via our domain watermark. In the first step, we will generate domain-watermarked (DW) samples in a hardly-generalized domain of the benign dataset; In the second step, we will optimize a set of visually-indistinguishable modified samples that have similar