[논문 리뷰] Performance Comparison of Contemporary DNN Watermarking Techniques

Huili Chen, Bita Darvish Rouhani외 3명|arXiv (Cornell University)|2018. 11. 08.

Advanced Steganography and Watermarking Techniques참고 문헌 5인용 수 16

한 줄 요약

이 논문은 화이트박스 및_BLK박스 환경에서 최신 DNN 워터마킹 기법들 간의 종합적인 실험적 비교를 제시한다. 정밀도, 내성, 무결성, 용량, 효율성, 보안성 기준으로 기법들을 평가한 결과, 루하니 등 [4]의 DeepSigns 프레임워크가 정규화 손실을 이용해 활성화 맵에 워터마크를 임bedding하는 방식으로, 잘라내기, 덮어쓰기, 거짓 양성 반응에 대한 내성에서 다른 기법들을 능가하여 종합적으로 가장 뛰어난 성능을 보였다.

ABSTRACT

DNNs shall be considered as the intellectual property (IP) of the model builder due to the impeding cost of designing/training a highly accurate model. Research attempts have been made to protect the authorship of the trained model and prevent IP infringement using DNN watermarking techniques. In this paper, we provide a comprehensive performance comparison of the state-of-the-art DNN watermarking methodologies according to the essential requisites for an effective watermarking technique. We identify the pros and cons of each scheme and provide insights into the underlying rationale. Empirical results corroborate that DeepSigns framework proposed in [4] has the best overall performance in terms of the evaluation metrics. Our comparison facilitates the development of pending watermarking approaches and enables the model owner to deploy the watermarking scheme that satisfying her requirements.

연구 동기 및 목표

• 효율적 인텔lectual property 보호를 위한 핵심 기준에 따라 현대적 DNN 워터마킹 기법들의 성능을 평가하고 비교하기.
• 내성, 정밀도, 무결성, 효율성 측면에서 각 워터마킹 방법의 강점과 약점을 규명하기.
• 화이트박스 및 블랙박스 시나리오 모두에서 실세계 적용에 필요한 필수 요구사항을 가장 잘 충족하는 워터마킹 프레임워크를 특정하기.
• 연구자들과 실무자들이 특정 응용 요구사항에 맞게 워터마킹 기법을 선택하거나 개선할 수 있도록 경험적 근거를 제공하기.

제안 방법

• 최신 DNN 워터마킹 기법들을 구현하고 평가하였으며, 화이트박스(우치다 등 [6], 루하니 등 [4]) 및 블랙박스(메레르 등 [2], 요시 등 [1], 창 등 [7]) 기법을 포함하였다.
• DeepSigns 프레임워크에서 다중 비트 워터마크를 활성화 맵에 임베딩하기 위해 정규화 손실(GMM 중심 손실 및 이진 교차 엔트로피 손실)을 사용하였다.
• 비트 오류율(BER) 및 탐지율을 사용한 지표로, 매개변수 잘라내기, 미세조정, 워터마크 덮어쓰기 공격에 대한 내성을 평가하였다.
• 워터마크 추출 시 표준 모델에서의 거짓 양성 및 거짓 음성 비율 측정을 통해 무결성을 평가하였다.
• 블랙박스 워터마킹을 위해 콘텐츠 기반, 관련 없는 기반, 노이즈 기반 방법을 사용해 워터마크 키를 생성하였으며, 벤치마크 전반에서 성능을 평가하였다.
• 모델 크기와 데이터셋의 일반화를 확보하기 위해 CIFAR10-WRN 및 ImageNet-ResNet에서 실험을 수행하였다.

실험 결과

연구 질문

• RQ1 다양한 공격 시나리오에서 정밀도, 내성, 무결성의 최적 균형을 제공하는 DNN 워터마킹 기법은 무엇인가?
• RQ2 모델 압축 및 워터마크 덮어쓰기 공격에 대비할 때, 화이트박스 및 블랙박스 워터마킹 기법 간의 저항성은 어떻게 비교되는가?
• RQ3 콘텐츠 기반, 노이즈 기반, 적대적 기반 등 다양한 워터마크 키 생성 전략이 탐지 정확도 및 거짓 양성 비율에 어떤 영향을 미치는가?
• RQ4 단일 워터마킹 프레임워크가 성능을 희생시키지 않고 화이트박스 및 블랙박스 환경 모두에서 효과적으로 작동할 수 있는가?
• RQ5 실세계 구현에서 워터마킹 임베딩이 모델 정확도와 계산 오버헤드에 어떤 영향을 미치는가?

주요 결과

• DeepSigns(Rouhani 등 [4])는 모든 벤치마크에서 가장 높은 워터마크 탐지율을 확보하였으며, 잘라내기 및 덮어쓰기 공격 조건에서도 우수한 성능을 보였다. 특히 N/M = 4 이하의 덮어쓰기 비율에서 비트 오류율(BER)이 0으로 나타났다.
• 활성화 맵에 워터마크를 임베딩한 DeepSigns 방식은 Uchida 등 [6]의 가중치 기반 임베딩 방식보다 워터마크 덮어쓰기 공격에 훨씬 더 강력한 내성을 보였으며, 낮은 덮어쓰기 비율에서도 BER 값이 0.3 이상으로 나타났다.
• 블랙박스 기법들인 [2] 및 [1]은 높은 거짓 양성 비율을 보였으며, [2]는 이식 가능한 적대적 샘플로 인해 무결성 기준을 위반하여 잘못된 탐지가 발생하였다.
• [7]의 노이즈 기반 키 생성 방법은 콘텐츠 기반 또는 관련 없는 기반 방법보다 매개변수 잘라내기 공격에 더 뛰어난 내성을 보였지만, 모든 세 가지 방법이 ImageNet-ResNet에서 잘라내기 공격에 실패하였다.
• DeepSigns는 CIFAR10-WRN 및 ImageNet-ResNet 양쪽 모두에서 다양한 잘라내기 비율 조건에서도 높은 탐지율(약 100%)을 유지하여 강력한 일반화 능력을 입증하였다.
• 모든 벤치마크에서 워터마크 덮어쓰기 공격에 내성을 보인 유일한 기법은 DeepSigns와 [7]의 관련 없는 기반 키 생성 방법 뿐이었으며, DeepSigns가 모든 측정된 N/M 비율에서 더 뛰어난 저항성을 보였다.