[논문 리뷰] Regulating Ownership Verification for Deep Neural Networks: Scenarios, Protocols, and Prospects

Fangqi Li, Shilin Wang외 1명|arXiv (Cornell University)|2021. 08. 20.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 4

한 줄 요약

이 논문은 실세계 시나리오에 맞춘 딥 뉴럴 네트워크(DNN)를 위한 세 가지 새로운 소유권 검증 프로토콜을 제안한다: 소유권 증명, 피어드 페더레이티드 러닝, 지적재산권 이전. 기존 워터마킹 기법을 넘어서는 새로운 보안 요구사항을 규명하고, 다섯 가지 기존 기법을 이러한 요구사항에 대해 평가한 결과, 현재 존재하는 어떤 기법도 모든 프로토콜 특화된 요구사항을 동시에 충족하지 못함을 확인하였으며, 향후 워터마킹 설계에서 더 높은 내구성, 은밀성, 다양한 구현 환경에 대한 적응성을 확보할 필요성이 있음을 시사한다.

ABSTRACT

With the broad application of deep neural networks, the necessity of protecting them as intellectual properties has become evident. Numerous watermarking schemes have been proposed to identify the owner of a deep neural network and verify the ownership. However, most of them focused on the watermark embedding rather than the protocol for provable verification. To bridge the gap between those proposals and real-world demands, we study the deep learning model intellectual property protection in three scenarios: the ownership proof, the federated learning, and the intellectual property transfer. We present three protocols respectively. These protocols raise several new requirements for the bottom-level watermarking schemes.

연구 동기 및 목표

• 실세계 구현 요구사항과 기존 DNN 워터마킹 기법 간 격차를 해소하기 위해 실용적인 소유권 검증 시나리오를 위한 프로토콜을 수립하는 것.
• 피어드 페더레이티드 러닝 및 지적재산권 이전과 같은 특정 구현 환경에서 유래하는 워터마킹 기법에 대한 새로운 보안 요구사항을 규명하고 체계화하는 것.
• Uchida의 기법, Rand, WF, ATGF, MTL-Sign 등 기존 워터마킹 기법들을 내구성, 은밀성, 효율성 측면에서 이러한 새로운 요구사항에 대해 평가하는 것.
• 기존 워터마킹 기법이 수반된 요구사항을 동시에 충족하지 못함을 입증하며, 특히 워터마킹 용량과 모델 무결성 간의 갈등 요구사항에서 특히 그렇다는 것을 보여주는 것.
• 현대 DNN 지적재산권 보호의 다면적이고 때로는 상충되는 요구사항을 충족하는 워터마킹 기법 설계를 향한 향후 연구를 촉구하는 것.

제안 방법

• 세 가지 별개의 소유권 검증 프로토콜을 제안: (1) 신뢰할 수 있는 스폰서가 있는 화이트박스 소유권 증명, (2) API 기반 서비스에서의 블랙박스 검증, (3) 피어드 페더레이티드 러닝 환경에서의 탈중앙화된 검증.
• 프로토콜 특화 조건 하에서 워터마킹 기법을 평가하기 위해 다섯 가지 새로운 보안 메트릭을 도입: (A) 손상 공격에 대한 내구성, (B) 워터마킹 용량, (C) 미세조정에 대한 내구성, (D) 임bedding 시간, (E) 피어드 페더레이티드 러닝 수렴에 대한 영향.
• 기반 워터마킹 기법의 보안성에 기반해 제안된 프로토콜의 보안성을 확보하기 위해 감소 기반 보안 분석을 활용.
• 백본 모델로 ResNet-50를 사용하고, PyTorch 프레임워크 하에서 MNIST, CIFAR10, CIFAR100 데이터셋을 대상으로 평가.
• 모든 기법의 내구성과 은밀성을 평가하기 위해 표준화된 공격 모델(예: 미세조정, 프루닝, 디스틸레이션)을 적용.
• 적대자(Adversary)가 워터마킹된 모델와 정상 모델를 구별할 수 있는 능력을 통해 은밀성을 평가하기 위해 공식적인 실험 설정(알고리즘 1)을 사용.

실험 결과

연구 질문

• RQ1 실세계 환경에서 실용적인 소유권 검증 프로토콜을 지원하기 위해 DNN 워터마킹 기법에 요구되는 새로운 보안 성질은 무엇인가?
• RQ2 기존 워터마킹 기법들은 새로운 프로토콜 특화 요구사항 하에서 내구성, 은밀성, 효율성 측면에서 어떻게 성능을 발휘하는가?
• RQ3 제안된 소유권 검증 프로토콜의 보안성은 기반 워터마킹 기법의 보안성으로 공식적으로 감소할 수 있는가?
• RQ4 높은 워터마킹 용량과 높은 모델 무결성 간의 갈등 요구사항은 현재 워터마킹 기법의 적용 가능성을 어느 정도 제한하는가?
• RQ5 다양한 워터마킹 기법은 피어드 페더레이티드 러닝과 같은 탈중앙화 환경에서 수렴성과 모델 무결성 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• MTL-Sign(M-S)은 손상 공격에 가장 뛰어난 저항성을 보였으며, MNIST에서 0.7%의 정확도 저하, CIFAR100에서 8.2%의 정확도 저하를 보여 모델 변조에 대한 높은 내구성을 확인했다.
• Uchida의 기법은 가장 높은 워터마킹 용량을 기록했으며, 모델 정확도에 미치는 영향이 극히 미미했고(0.1% 미만), 성공적인 공격에 대한 임계치가 매우 높아(≥1,000회 반복) 안정성을 입증했다.
• 백도어 기반 기법인 Rand와 WF는 각각 MNIST에서 30.2%, 41.3%의 낮은 워터마킹 용량을 보였으며, 고용량 임베딩에 취약함을 시사했다.
• M-S의 임베딩 시간은 가장 길었으며(MNIST 기준 750ms), 반면 Uchida의 기법은 가장 빠르게, 이는 보안성과 효율성 사이의 상충 관계를 반영했다.
• 모든 기법이 피어드 페더레이티드 러닝에서 DNN 수렴에 거의 영향을 주지 않았으며, M-S와 Uchida의 기법은 각각 CIFAR100에서 0.0%의 영향을 보였다.
• 현재 존재하는 워터마킹 기법 중 어느 것도 모든 프로토콜 특화된 요구사항을 동시에 충족하지 못했으며, 특히 높은 워터마킹 용량과 강력한 모델 무결성 간의 갈등 요구사항에서 두드러졌다.