[논문 리뷰] Non-Transferable Learning: A New Approach for Model Ownership Verification and Applicability Authorization

Lixu Wang, Shichao Xu외 3명|arXiv (Cornell University)|2021. 06. 13.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 비이행성 학습(NTL)이라는 새로운 방법을 제안한다. NTL은 도메인 특화 특징을 학습하여 딥러닝 모델이 특정 데이터 도메인에서만 뛰어난 성능을 내도록 제한함으로써, 강력한 모델 소유권 검증 및 데이터 중심의 적용 허가를 가능하게 한다. NTL은 최신 워터마크 제거 공격에 저항하며, 허가되지 않은 데이터에서 모델 성능이 떨어지게 한다. MNIST, CIFAR10, STL10, VisDA 데이터셋에서 다양한 초모델 설정 하에 일관된 결과를 보이며 검증되었다.

ABSTRACT

As Artificial Intelligence as a Service gains popularity, protecting well-trained models as intellectual property is becoming increasingly important. There are two common types of protection methods: ownership verification and usage authorization. In this paper, we propose Non-Transferable Learning (NTL), a novel approach that captures the exclusive data representation in the learned model and restricts the model generalization ability to certain domains. This approach provides effective solutions to both model verification and authorization. Specifically: 1) For ownership verification, watermarking techniques are commonly used but are often vulnerable to sophisticated watermark removal methods. By comparison, our NTL-based ownership verification provides robust resistance to state-of-the-art watermark removal methods, as shown in extensive experiments with 6 removal approaches over the digits, CIFAR10 & STL10, and VisDA datasets. 2) For usage authorization, prior solutions focus on authorizing specific users to access the model, but authorized users can still apply the model to any data without restriction. Our NTL-based authorization approach instead provides data-centric protection, which we call applicability authorization, by significantly degrading the performance of the model on unauthorized data. Its effectiveness is also shown through experiments on the aforementioned datasets.

연구 동기 및 목표

• AI as a Service (AIaaS) 환경에서 잘 트레이닝된 딥러닝 모델을 지적 재산으로 보호할 필요가 점점 커지는 데에 대응하기 위해.
• 기존의 소유권 검증 방법은 피닝튜닝 또는 재학습을 통해 고도로 정교한 워터마크 제거 공격에 취약하므로 이를 극복하기 위해.
• 사용자 기반의 키가 아닌 데이터 도메인 기반으로 모델 사용을 제한하는 새로운 형태의 사용 허가 방식인 적용 허가를 도입하기 위해.
• 도메인 특화 특징 학습을 통해 일반화 범위를 좁혀 모델의 이행성을 제거함으로써 모델을 특정 도메인에 비이행성으로 만드는 방법을 개발하기 위해.
• NTL가 워터마크 제거 공격과 도메인 적응 공격 양쪽에 모두 강건함을 입증함으로써 장기적인 모델 보호를 보장하기 위해.

제안 방법

• NTL는 두 가지 변형을 도입한다: 목적 도메인이 알려진 경우에 사용하는 타겟 지정 NTL, 이 경우 목적 도메인을 보조 도메인으로 사용해 소스 도메인과의 표현 거리를 증가시킨다.
• 소스 전용 NTL는 목적 도메인이 알려지지 않은 경우, 생성적 적대적 증강 프레임워크를 사용해 보조 도메인을 생성하고, 소스 도메인과 보조 도메인 간의 도메인 불일치를 증가시킨다.
• 도메인 이동을 측정하고 최소화하기 위해 다중 가우시안 커널을 사용한 최대 평균 이격도(MMD)를 사용하며, 대역폭은 mul 및 num 파라미터로 제어된다.
• NTL는 소스 도메인 전용 특징을 학습하도록 모델를 최적화하면서 보조 도메인으로의 이행성을 억제함으로써 일반화를 제한한다.
• 소유권 검증을 위해 NTL은 보조 도메인에서의 오분류 행동을 워터마크로 삽입하며, 모델 조작 중 치명적인 忘却를 견디는 데에 저항한다.
• 적용 허가를 위해 모델은 소스 도메인 외의 모든 도메인에서 성능이 크게 떨어지도록 훈련되며, 이는 사용을 허가된 데이터에만 제한하는 데 효과적이다.

실험 결과

연구 질문

• RQ1 특정 도메인으로의 이행성을 제거하면서도 소스 도메인에서 높은 성능을 유지할 수 있는 딥러닝 모델을 만들 수 있는가?
• RQ2 NTL는 피닝튜닝 또는 재학습을 악용하는 최신 워터마크 제거 기법에 얼마나 효과적으로 저항하는가?
• RQ3 사용자 기반 키에 의존하지 않고도 허가되지 않은 데이터 도메인에서 성능을 떨어뜨림으로써 데이터 중심의 허가를 제공할 수 있는가?
• RQ4 MMD 기반의 도메인 불일치 측정에서 커널 대역폭이 다양하게 설정된 경우에도 NTL의 성능이 안정적인가?
• RQ5 NTL는 모델 배포 시 백도어 공격이나 유니버설 풀링 공격을 수행하거나 방어하는 데 사용될 수 있는가?

주요 결과

• NTL 기반의 소유권 검증은 MNIST, CIFAR10, STL10, VisDA에서 최신의 6종의 워터마크 제거 방법에 대해 모두 저항하며, 높은 검증 정확도를 유지한다.
• 모든 평가된 데이터셋에서 NTL 기반의 적용 허가로 허가되지 않은 데이터에서의 성능이 80% 이상 떨어지지만, 허가된 소스 데이터에서는 정확도가 90% 이상 유지된다.
• MMD 계산에서 mul 및 num 파라미터를 다양하게 설정했을 때도 NTL의 성능이 일관되게 유지되어, 다양한 커널 대역폭 설정에서도 안정적임을 입증했다.
• VGG-19에서의 실험을 통해 NTL는 다양한 네트워크 아키텍처에서도 강력한 효과를 유지함을 확인하여 광범위한 적용 가능성을 입증했다.
• NTL는 타겟 특화 오분류 행동을 삽입함으로써 백도어 공격을 수행하는 데에도 사용될 수 있으며, 소스 없는 도메인 적응 방법을 제한함으로써 모델 일반화를 억제함으로써 방어에도 활용될 수 있다.