[논문 리뷰] Deep Serial Number: Computational Watermarking for DNN Intellectual Property Protection

Ruixiang Tang, Mengnan Du외 1명|arXiv (Cornell University)|2020. 11. 17.

Adversarial Robustness in Machine Learning참고 문헌 24인용 수 9

한 줄 요약

이 논문은 지식 정련을 통해 학생 모델에 고유한 일련번호를 통합함으로써, 오직 유효한 일련번호가 있을 때만 기능하는 DNN 지적재산권 보호 프레임워크인 Deep Serial Number(DSN)을 제안한다. 이 방법은 원본 모델 성능을 유지하면서도 무단 사용을 효과적으로 방지하며, 흰색 상자 워터마킹 공격에 대해 강건성을 보인다.

ABSTRACT

In this paper, we present DSN (Deep Serial Number), a simple yet effective watermarking algorithm designed specifically for deep neural networks (DNNs). Unlike traditional methods that incorporate identification signals into DNNs, our approach explores a novel Intellectual Property (IP) protection mechanism for DNNs, effectively thwarting adversaries from using stolen networks. Inspired by the success of serial numbers in safeguarding conventional software IP, we propose the first implementation of serial number embedding within DNNs. To achieve this, DSN is integrated into a knowledge distillation framework, in which a private teacher DNN is initially trained. Subsequently, its knowledge is distilled and imparted to a series of customized student DNNs. Each customer DNN functions correctly only upon input of a valid serial number. Experimental results across various applications demonstrate DSN's efficacy in preventing unauthorized usage without compromising the original DNN performance. The experiments further show that DSN is resistant to different categories of watermark attacks.

연구 동기 및 목표

• 실세계 응용 프로그램에서 증가하는 DNN 모델 도용 및 무단 배포 위협을 해결하기 위해.
• 백색 상자 액세스가 필요하거나 전이 학습 및 제거 공격에 취약한 기존 워터마킹 기법의 한계를 극복하기 위해.
• 기존 소프트웨어 라이센스에 영감을 얻어 DNN에 일련번호 기반 액세스 제어 메커니즘을 구현하기 위해.
• 유효한 일련번호를 가진 사용자만 모델을 배포하고 사용할 수 있도록 보장하기 위해.
• 적대적 공격에 저항하는 강건하고 블랙박스 호환성 및 실용적인 DNN 지적재산권 보호 시스템을 개발하기 위해.

제안 방법

• 먼저 레이블이 부여된 데이터셋에서 교사 DNN을 학습한 후, 이를 여러 학생 DNN에 지식 정련한다.
• 각 학생 DNN은 정련 과정 중에 고유한 일련번호로 맞춤 설정되며, 이는 모델의 추론 논리에 인코딩된다.
• 추론 중에 정확한 일련번호가 입력으로 제공되지 않으면 모델은 정확한 예측을 하지 않는다.
• 일련번호는 모델 파라미터나 가중치에 통합되는 것이 아니라, 처리 전에 입력을 검증하는 조건부 추론 메커니즘을 통해 강제로 구현된다.
• 지식 정련을 활용하여 원본 모델의 성능을 유지하면서도 일련번호를 기능적 액세스 제어 메커니즘으로 통합한다.
• 일련번호 검증과 모델 기능 간의 밀접한 결합으로 인해, 모델 추출 및 워터마킹 제거를 포함한 흰색 상자 공격에 대해 강건성이 확보된다.

실험 결과

연구 질문

• RQ1 DNN에 일련번호 메커니즘이 효과적으로 통합되어 무단 배포를 방지할 수 있는가?
• RQ2 원본 모델의 성능을 훼손하지 않고 일련번호를 어떻게 강제로 적용할 수 있는가?
• RQ3 제안된 방법은 모델 추출 및 워터마킹 제거를 포함한 흰색 상자 공격에 저항력이 있는가?
• RQ4 보안성과 확장성을 유지하면서도 여러 사용자에게 고유한 일련번호를 제공할 수 있는가?
• RQ5 DSN 프레임워크는 기존 워터마킹 기법과 비교해 강건성과 실용성 측면에서 어떻게 다른가?

주요 결과

• DSN은 정확한 추론을 위해 유효한 일련번호가 필요하기 때문에, DNN의 무단 사용을 성공적으로 방지하며, 오직 인증된 사용자만 모델을 운영할 수 있도록 보장한다.
• 다양한 응용 분야에서 원본 DNN 성능을 유지하며, 주요 작업의 정확도에 측정 가능한 저하가 없음을 확인했다.
• 적대자들이 프레임워크에 완전한 백색 상자 액세스를 가진 상태에서도 워터마킹 억제, 제거, 오버라이트 공격에 대해 강력한 저항성을 보였다.
• 전이 학습 공격에 대해서도 강건하며, 상위 레이어를 교체함으로써 일련번호 요구 조건을 우회할 수 없다.
• 실세계 데이터셋에서의 실험 결과, 일련번호가 통계적 워터마킹이 아니라 기능적 액세스 제어 메커니즘으로 효과적으로 구현되었음을 확인했다.
• 블랙박스 소유자 확인이 가능하고, 고유한 일련번호를 가진 다수의 고객에게 스케일러블하게 배포할 수 있어 실용적인 배포가 가능하다.