[논문 리뷰] Open-sourced Dataset Protection via Backdoor Watermarking

Yiming Li, Ziqi Zhang외 4명|arXiv (Cornell University)|2020. 10. 12.

Adversarial Robustness in Machine Learning참고 문헌 32인용 수 14

한 줄 요약

이 논문은 제3자 모델이 보호된 데이터셋에서 훈련되었는지 검증할 수 있도록, 훈련 샘플에 숨겨진 트리거를 통합하여 오픈소스 데이터셋을 보호하는 백도어 워터마킹 방법을 제안한다. 이 방법은 워터마킹에 폭파 기반 백도어 공격을 사용하고, 후행 확률에 대한 가설 검정을 통해 워터마킹 존재 여부를 탐지하며, 벤치마크 데이터셋에서 모델 성능에 최소한의 영향을 미치면서도 100% 탐지 정확도를 달성한다.

ABSTRACT

The rapid development of deep learning has benefited from the release of some high-quality open-sourced datasets ($e.g.$, ImageNet), which allows researchers to easily verify the effectiveness of their algorithms. Almost all existing open-sourced datasets require that they can only be adopted for academic or educational purposes rather than commercial purposes, whereas there is still no good way to protect them. In this paper, we propose a \emph{backdoor embedding based dataset watermarking} method to protect an open-sourced image-classification dataset by verifying whether it is used for training a third-party model. Specifically, the proposed method contains two main processes, including \emph{dataset watermarking} and \emph{dataset verification}. We adopt classical poisoning-based backdoor attacks ($e.g.$, BadNets) for dataset watermarking, ie, generating some poisoned samples by adding a certain trigger ($e.g.$, a local patch) onto some benign samples, labeled with a pre-defined target class. Based on the proposed backdoor-based watermarking, we use a hypothesis test guided method for dataset verification based on the posterior probability generated by the suspicious third-party model of the benign samples and their correspondingly watermarked samples ($i.e.$, images with trigger) on the target class. Experiments on some benchmark datasets are conducted, which verify the effectiveness of the proposed method.

연구 동기 및 목표

• 제3자 모델이 오픈소스 데이터셋에서 훈련되었는지 여부를 확인할 수 있는 효과적인 방법의 부재를 해결하기 위해.
• 학술적 사용에 국한되는 고성능 오픈소스 데이터셋을 상용 오용으로부터 보호하기 위해.
• 모델 성능에 해를 끼치지 않으면서도 탐지에 효과적이며, 공격자가 탐지하기 어려운 워터마킹 체계를 개발하기 위해.
• 훈련 세부 정보에 접근할 수 없더라도 데이터셋 보호자가 상용 오용 여부를 검증할 수 있도록 하기 위해.

제안 방법

• 워터마킹은 폭파 기반 백도어 공격(예: BadNets, Blended Attack)을 사용하여 수행되며, 정상 이미지의 소수를 트리거(예: 3×3 흰색 사각형 또는 검은 선)를 추가하고 대상 클래스로 재라벨링하여 수정한다.
• 트리거는 인식하기 어려워 워터마킹이 도드라지지 않으면서도 정상 샘플에 대한 모델 정확도를 유지한다.
• 의심스러운 모델에서 정상 샘플과 워터마킹된 샘플의 대상 클래스에 대한 후행 확률을 비교하기 위해 가설 검정을 적용한다.
• 유의수준 0.05에서 쌍체 T검정을 사용하여 후행 확률의 차이가 통계적으로 유의미한지 판단하며, 이는 워터마킹 존재 여부를 나타낸다.
• 워터마킹된 데이터셋에서 훈련된 모델은 워터마킹된 샘플에 대해 정상 샘플보다 대상 클래스에 대해 유의미하게 높은 후행 확률을 보여주므로, 이 사실에 기반한다.
• 워터마킹 비율(γ)과 시각화 파라미터(λ)는 효과성과 은폐성의 균형을 맞추기 위해 조정되는 하이퍼파라미터이다.

실험 결과

연구 질문

• RQ1 훈련 세부 정보에 접근할 수 없더라도 백도어 기반 워터마킹 체계를 사용하여 제3자 모델이 오픈소스 데이터셋에서 훈련되었는지 여부를 검증할 수 있는가?
• RQ2 다양한 벤치마크에서 워터마킹된 데이터셋에서 훈련된 모델에 대한 워터마킹 존재 여부 탐지 성능은 어떻게 되는가?
• RQ3 다양한 워터마킹 비율과 트리거 시각화 수준에서 워터마킹 효과성(예: WSR)과 모델 성능(예: 정상 정확도) 간의 상충 관계는 어떠한가?
• RQ4 제안된 검증 방법은 높은 탐지 정확도를 유지하면서도 어느 정도 은폐성을 확보할 수 있는가?

주요 결과

• 제안된 워터마킹 방법은 원본 모델 성능과 2% 이내의 정상 정확도를 유지하여 강력한 무해성을 입증한다.
• 5%의 워터마킹 비율에서 CIFAR-10 및 GTSRB 데이터셋 모두에서 워터마킹 성공률(WSR)이 90%를 초과하여 높은 효과성을 확인한다.
• 모든 테스트된 모델과 트리거에 대해 성공 탐지 비율(RSD)이 100%를 기록하여 완벽한 탐지 능력을 입증한다.
• 워터마킹 비율(γ)과 높은 시각화 파라미터 값(λ)일수록 WSR이 증가하여 탐지 가능성과 은폐성 간의 명확한 상충 관계를 보인다.
• 모델 아키텍처(ResNet 및 VGG)와 트리거 유형(선 및 사각형)에 관계없이 안정적으로 작동하여 다양한 환경에서의 일반화 능력을 입증한다.