[논문 리뷰] IPGuard: Protecting Intellectual Property of Deep Neural Networks via Fingerprinting the Classification Boundary

Xiaoyu Cao, Jinyuan Jia외 1명|arXiv (Cornell University)|2019. 10. 28.

Adversarial Robustness in Machine Learning참고 문헌 40인용 수 20

한 줄 요약

IPGuard는 기계학습 모델의 분류 경계 근처에 있는 데이터 포인트를 이용해 훈련된 모델의 분류 경계를 지문화하여 딥 네ural 네트워크(DNN) 지적재산권을 보호하는 새로운 방법이다. 워터마킹과 달리 정확도 손실이 없으며, 기존에 훈련된 모델을 분석하여 이러한 경계 포인트에서의 일관된 레이블 예측을 통해 도용된 버전을 탐지함으로써, 후처리 기법에 대해 뛰어난 강건성과 높은 효율성을 확보한다.

ABSTRACT

A deep neural network (DNN) classifier represents a model owner's intellectual property as training a DNN classifier often requires lots of resource. Watermarking was recently proposed to protect the intellectual property of DNN classifiers. However, watermarking suffers from a key limitation: it sacrifices the utility/accuracy of the model owner's classifier because it tampers the classifier's training or fine-tuning process. In this work, we propose IPGuard, the first method to protect intellectual property of DNN classifiers that provably incurs no accuracy loss for the classifiers. Our key observation is that a DNN classifier can be uniquely represented by its classification boundary. Based on this observation, IPGuard extracts some data points near the classification boundary of the model owner's classifier and uses them to fingerprint the classifier. A DNN classifier is said to be a pirated version of the model owner's classifier if they predict the same labels for most fingerprinting data points. IPGuard is qualitatively different from watermarking. Specifically, IPGuard extracts fingerprinting data points near the classification boundary of a classifier that is already trained, while watermarking embeds watermarks into a classifier during its training or fine-tuning process. We extensively evaluate IPGuard on CIFAR-10, CIFAR-100, and ImageNet datasets. Our results show that IPGuard can robustly identify post-processed versions of the model owner's classifier as pirated versions of the classifier, and IPGuard can identify classifiers, which are not the model owner's classifier nor its post-processed versions, as non-pirated versions of the classifier.

연구 동기 및 목표

• 정확도 손실이 허용되지 않는 고위험 분야에서 딥 네럴 네트워크(DNN) 분류기의 도용을 방지할 수 있는 임상적 필요성을 해결하기 위해.
• 기존 워터마킹 기법의 핵심적 한계를 극복하기 위해, 훈련 또는 미세조정 과정을 수정함으로써 모델 정확도를 떨어뜨리는 문제를 해결하기 위해.
• 원본 모델의 성능을 훼손하거나 재훈련이 필요 없이 도용된 DNN 모델을 탐지할 수 있는 방법을 개발하기 위해.
• 모델 압축, 미세조정, 재훈련과 같은 일반적인 후처리 공격에 대해 강건성을 확보하기 위해.
• 분류 경계 근처에 있는 지문화 데이터 포인트를 생성하는 데 있어 높은 효율성을 달성하여 최신 기술인 적대적 공격 방법보다 빠르게 성능을 확보하기 위해.

제안 방법

• IPGuard는 사전 훈련된 DNN 분류기의 분류 경계 근처에 있는 데이터 포인트를 식별하여 지문화 데이터 포인트로 간주한다.
• 원래 클래스 레이블을 유지하면서도 분류 경계에 가까워지도록 하는 변형을 생성하기 위해 새로운 효율적인 최적화 방법을 사용한다.
• 이 방법은 변형의 L2 노름을 제약하지 않아, CW-L2와 같은 방법보다 더 빠른 계산을 가능하게 한다.
• 지문은 대상 분류기가 예측한 원본 데이터 포인트와 그 레이블의 집합으로 정의되며, 고유한 서명을 형성한다.
• 의심스러운 분류기의 경우, 모델 소유주는 동일한 지문화 데이터 포인트를 대상으로 예측 API를 호출한다. 일관된 레이블 일치가 관찰되면 도용 가능성이 있음을 나타낸다.
• 훈련 또는 미세조정 과정을 수정하지 않기 때문에, 원본 모델에 대해 지문화 방법이 증명 가능하게 정확하다.

실험 결과

연구 질문

• RQ1 훈련 과정을 수정하지 않고도 분류 경계만을 기반으로 DNN 분류기를 고유하게 지문화할 수 있는가?
• RQ2 모델 압축, 미세조정, 재훈련과 같은 일반적인 후처리 기법에 대해 지문화 방법의 강건성은 어떠한가?
• RQ3 결정 경계 근처에 있는 지문화 데이터 포인트를 효율적으로 생성하면서도 높은 탐지 정확도를 유지할 수 있는가?
• RQ4 잘못된 양성 결과(가짜 경고)를 방지하여, 도용되지 않은 모델을 정확히 도용되지 않은 것으로 식별할 수 있는가?
• RQ5 최신 기술인 적대적 예제 생성 방법과 비교했을 때, 이 방법의 효율성과 정확도는 어떠한가?

주요 결과

• IPGuard는 CIFAR-10 및 CIFAR-100에서 후처리된 버전의 대상 분류기 탐지에 대해 거의 완벽한 일치율(95% 이상)을 달성했으며, 모델 압축이나 미세조정 이후에도 성능을 유지했다.
• ImageNet에서는 후처리된 모델에 대해 90% 이상의 일치율을 유지하여 대규모 데이터셋에 대한 확장성도 입증했다.
• FGSM 및 IGSM보다 강건성과 효율성 면에서 뛰어나며, ARUC 점수는 유사하게 유지하면서도 CW-L2보다 수십만 배 빠른 성능을 보였다.
• IPGuard는 극도로 낮은 가짜 양성 결과를 보였다: CIFAR-100에서 다른 랜덤 시드로 훈련된 도용되지 않은 모델들 역시 일치율이 약 0% 수준이었으며, 이는 높은 고유성을 의미한다.
• CIFAR-100에서 IPGuard는 100개의 지문화 데이터 포인트를 249.9초 내에 생성했으며, 이는 유사한 ARUC 성능을 보이는 CW-L2(30,644.6초)에 비해 빠른 속도를 보였다.
• IPGuard의 변형 평균 L2-노름(1.29)은 CW-L2(0.64)보다 높았으며, 이는 IPGuard의 노름 제약 없음으로 인해 더 빠른 수렴이 가능하다는 것을 확인한다.