[논문 리뷰] Secure Watermark for Deep Neural Networks with Multi-task Learning

Fangqi Li, Shilin Wang|arXiv (Cornell University)|2021. 03. 18.

Adversarial Robustness in Machine Learning참고 문헌 61인용 수 8

한 줄 요약

이 논문은 딥 뉴럴 네트워크에 저자 정보를 보조 작업으로 통합하는 다중 작업 학습(MTL)-기반 워터마킹 프레임워크를 제안한다. 이 방법은 파인튜닝, 프루닝, 오버라이팅 공격에 대해 강건성을 확보하며, 작업별 정규화 기법과 탈중앙화된 검증 프로토콜을 통해 높은 기능 유지성과 보안성을 확보한다. 다양한 데이터셋에서 기존의 백도어 기반 방법에 비해 정확도, 강건성, 일반화 능력 면에서 뛰어나다.

ABSTRACT

Deep neural networks are playing an important role in many real-life applications. After being trained with abundant data and computing resources, a deep neural network model providing service is endowed with economic value. An important prerequisite in commercializing and protecting deep neural networks is the reliable identification of their genuine author. To meet this goal, watermarking schemes that embed the author's identity information into the networks have been proposed. However, current schemes can hardly meet all the necessary requirements for securely proving the authorship and mostly focus on models for classification. To explicitly meet the formal definitions of the security requirements and increase the applicability of deep neural network watermarking schemes, we propose a new framework based on multi-task learning. By treating the watermark embedding as an extra task, most of the security requirements are explicitly formulated and met with well-designed regularizers, the rest is guaranteed by using components from cryptography. Moreover, a decentralized verification protocol is proposed to standardize the ownership verification. The experiment results show that the proposed scheme is flexible, secure, and robust, hence a promising candidate in deep learning model protection.

연구 동기 및 목표

• 기존 DNN 워터마킹 기법에서 공식적인 보안 정의와 강건성의 부족을 해결하기 위해.
• 파인튜닝, 프루닝, 전용 탐지 공격에 의해 제거될 수 있는 백도어 기반 방법의 한계를 극복하기 위해.
• 높은 모델 성능을 유지하면서 신뢰할 수 있는 탈중앙화된 소유권 검증을 가능하게 하는 워터마킹 프레임워크를 개발하기 위해.
• 파인튜닝 및 뉴런 프루닝과 같은 일반적인 모델 수정 조건에서도 워터마크가 그대로 유지되도록 보장하기 위해.
• 이미지 분류 작업을 넘어서 다양한 딥러닝 응용 분야로 워터마킹을 일반화하기 위해.

제안 방법

• 워터마크는 주요 작업이 원래 DNN 목표(예: 이미지 분류)인 다중 작업 학습 프레임워크에 추가 작업으로 통합된다. 보조 작업은 저자 신원을 확인하는 것이다.
• 전용 워터마킹 브랜치를 도입하여, 내부 활성화 값을 기반으로 저자 신원을 예측하는 분류기 헤드를 설계한다.
• 보안 성질을 강제하기 위해 작업별 정규화 기법을 설계한다: 기능 유지성, 파인튜닝 및 프루닝에 대한 강건성, 오버라이팅 공격에 대한 저항성.
• 정규화 기법은 성능 저하 최소화 및 악성 수정 조건 하에서도 높은 워터마크 정확도를 달성하도록 보장하는 보안 요구사항을 명시적으로 표현한다.
• 중앙 기관에 의존하지 않고 소유권을 검증할 수 있는 탈중앙화된 검증 프로토콜을 적용하여 신뢰성과 확장성을 향상시킨다.
• 무결성 보장을 위해 암호학적 구성 요소를 통합하고 위조 방지를 확보한다. 또한 워터마크를 모델 기능에서 분리하여 백도어 취약성을 방지한다.

실험 결과

연구 질문

• RQ1 파인튜닝 및 뉴런 프루닝과 같은 일반적인 모델 수정 조건에 대해 DNN 워터마킹 기법을 공식적으로 보호할 수 있는가?
• RQ2 어떻게 하면 악성 사용자가 내장된 신원을 대체하려는 오버라이팅 공격에 저항할 수 있는가?
• RQ3 백도어에 의존하지 않고도 저자 정보를 내장하면서도 주요 작업 정확도를 유지할 수 있는가?
• RQ4 소유권 검증을 표준화하고 탈중앙화하여 신뢰할 수 있는 제3자에 대한 의존도를 줄일 수 있는가?
• RQ5 제안된 MTL 기반 접근 방식이 이미지 분류를 넘어서 다른 딥러닝 작업으로 일반화될 수 있는가?

주요 결과

• MNIST에서 제안된 방법은 파인튜닝 후 99.5%의 주요 작업 정확도와 92.5%의 워터마크 검증 정확도를 달성했으며, Li 등 [27]의 결과(14.5%)와 Zhu 등 [60]의 결과(7.0%)를 뛰어넘었다.
• CIFAR-100에서 제안된 방법은 파인튜닝 후에도 63.8%의 주요 작업 정확도와 97.0%의 워터마크 정확도를 유지했으며, 기준선 대비 유의미하게 뛰어났다(각각 1.2% 및 0.8%).
• 뉴런 프루닝 조건에서 제안된 방법은 MNIST에서 성능 저하가 2.2%에 그쳤고, Zhu 등 [60]의 1.4%와 Li 등 [27]의 0.9%보다 더 뛰어난 강건성을 보였다.
• 오버라이팅 공격 조건에서도 워터마킹 브랜치 정확도가 0.7 이상 유지되었으며, 변동 범위가 4.5% 이내로 제한되어 핵심 정보 교체에 대한 저항성을 확인했다.
• 본 방법은 일반화 능력이 뛰어나 비분류 작업에도 적용 가능했고, 정규화 기법 업데이트를 통해 새로운 모델 튜닝 연산자에 쉽게 적응할 수 있었다.
• 탈중앙화된 검증 프로토콜을 통해 안전하고 신뢰할 수 없는 소유권 검증이 가능해졌으며, 실세계 적용을 위한 실용성과 확장성 향상에 기여했다.