[논문 리뷰] Domain Watermark: Effective and Harmless Dataset Copyright Protection is Closed at Hand

Junfeng Guo, Yiming Li외 5명|arXiv (Cornell University)|2023. 10. 09.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 딥 뉴럴 네트워크(DNN)의 표현 공간에서 일반화하기 어려운 샘플을 활용하여 악성 행동을 유도하지 않으면서도 도메인 수준의 저작권 보호를 위한 새로운 방법인 Domain Watermark을 제안한다. 이 방법은 일반 모델이 잘못 분류하는 '어려운' 샘플을 정확하게 분류하도록 모델을 훈련시켜, 악성 행동을 포함하지 않으면서도 소유권 확인이 가능하게 하며, 높은 확인 정확도와 데이터 증강 및 도메인 적응 공격에 대한 강건성을 확보한다.

ABSTRACT

The prosperity of deep neural networks (DNNs) is largely benefited from open-source datasets, based on which users can evaluate and improve their methods. In this paper, we revisit backdoor-based dataset ownership verification (DOV), which is currently the only feasible approach to protect the copyright of open-source datasets. We reveal that these methods are fundamentally harmful given that they could introduce malicious misclassification behaviors to watermarked DNNs by the adversaries. In this paper, we design DOV from another perspective by making watermarked models (trained on the protected dataset) correctly classify some `hard' samples that will be misclassified by the benign model. Our method is inspired by the generalization property of DNNs, where we find a \emph{hardly-generalized domain} for the original dataset (as its \emph{domain watermark}). It can be easily learned with the protected dataset containing modified samples. Specifically, we formulate the domain generation as a bi-level optimization and propose to optimize a set of visually-indistinguishable clean-label modified data with similar effects to domain-watermarked samples from the hardly-generalized domain to ensure watermark stealthiness. We also design a hypothesis-test-guided ownership verification via our domain watermark and provide the theoretical analyses of our method. Extensive experiments on three benchmark datasets are conducted, which verify the effectiveness of our method and its resistance to potential adaptive methods. The code for reproducing main experiments is available at \url{https://github.com/JunfengGo/Domain-Watermark}.

연구 동기 및 목표

• 기존의 백도어 기반 데이터셋 소유권 확인(DOV) 기법이 수영된 모델에 악성 오분류 행동을 유도한다는 근본적인 문제를 해결하기 위해.
• 모델의 안전성이나 성능을 훼손하지 않으면서도 진정으로 해로운 영향을 주지 않는 DOV 기법을 설계하기 위해.
• DNN의 일반화 성질을 활용하여 원본 데이터셋 내에서 '일반화하기 어려운 도메인'을 식별하고 수영하기 위해.
• 시각적으로 구분하기 어려운, 깨끗한 레이블을 가진 수정된 데이터를 통해 수영의 은밀성을 확보하고, 도메인 수영된 샘플과 유사한 효과를 내기 위해.
• 이론적 보장을 가진 가설 검정 지도 기반의 확인 메커니즘을 개발하기 위해.

제안 방법

• 원본 데이터셋에서 일반화하기 어려운 도메인을 학습하기 위해 이중 최적화 문제로 도메인 생성을 수식화한다.
• 원본 데이터와 시각적으로 유사하지만, 수영된 모델에 의해 정확하게 분류되는 도메인 수영된 샘플을 생성하기 위해 변환 모듈을 사용한다.
• 은밀성을 확보하기 위해 깨끗한 레이블을 가진, 시각적으로 구분하기 어려운 수정된 데이터 세트를 최적화하여 도메인 수영으로 활용한다.
• 도메인 수영을 이용해 소유권을 탐지하기 위한 가설 검정 지도 기반의 확인 프로토콜을 설계한다.
• 이 방법은 일반 모델이 특정 어려운 샘플을 잘못 분류하는 반면, 수영된 모델은 이를 정확히 분류한다는 사실에 기반한다.
• 이론적 분석을 통해 이 방법의 강건성과 확인 신뢰성에 대한 근거를 제공한다.

Figure 1: The main pipeline of dataset ownership verification with backdoor-based dataset watermarks and our domain watermark, where BW Sample represents existing backdoor-watermarked sample while DW Sample represents our proposed domain-watermarked sample. Existing backdoor-based methods make the w

실험 결과

연구 질문

• RQ1 수영된 모델에 악성 오분류 행동을 유도하지 않고도 데이터셋 소유권 확인을 달성할 수 있는가?
• RQ2 DNN이 어려운 샘플에서 일반화 실패를 보일 때 이를 활용해 수영을 만들 수 있는가?
• RQ3 백도어를 사용하지 않고도 효과적이고 은밀한 수영을 만들 수 있는가?
• RQ4 제안된 방법은 일반적인 데이터 증강 및 도메인 적응 기법에 저항할 수 있는가?
• RQ5 도메인 수영 기반 기법의 효과성과 강건성에 대한 이론적 근거는 무엇인가?

주요 결과

• CIFAR-10 및 Tiny-ImageNet에서 강력한 데이터 증강 조건 하에서도 100%의 확인 정확도(p-value ≫ 0.05)를 달성하여 이러한 공격에 저항함을 입증한다.
• CIFAR-10에서 L2D 도메인 적응 조건 하에서도 확인 성공률(VSR) 86.10%와 ΔP 0.63을 유지하여 뛰어난 강건성을 보였다.
• Tiny-ImageNet에서도 L2D 조건 하에 VSR 42.00%와 ΔP 0.53를 달성하여 낮은 일반 모델 정확도 조건에서도 일관된 성능을 보였다.
• 강력한 증강 조치 후 도메인 수영된 샘플에서 유의미한 오분류가 발생하지 않아(지표 p-value = 1.00), 데이터 증강에 대한 저항성이 있음을 입증했다.
• 의심 모델이 미세조정되거나 적응되더라도 높은 확인 능력을 유지하였으며, 확인 결과의 통계적 유의성을 보여주는 p-값을 제공했다.
• 이 방법은 이론적으로 탄탄하며, 세 가지 벤치마크 데이터셋에서 강력한 경험적 검증을 통과한 가설 검정 지도 기반의 확인 메커니즘을 제공한다.

Figure 2: The workflow of dataset ownership via our domain watermark. In the first step, we will generate domain-watermarked (DW) samples in a hardly-generalized domain of the benign dataset; In the second step, we will optimize a set of visually-indistinguishable modified samples that have similar