[논문 리뷰] You are caught stealing my winning lottery ticket! Making a lottery ticket claim its ownership

Xuxi Chen, Tianlong Chen외 2명|arXiv (Cornell University)|2021. 10. 29.

Adversarial Robustness in Machine Learning인용 수 10

한 줄 요약

이 논문은 반복적 크기 제거를 통해 발견된 희소하고 고성능인 하위신경망인 승자 로또 티켓을 보호하기 위해, 그 희소한 구조적 연결성에 사용자 고유의 서명을 내장하는 새로운 방법을 제안한다. 그래프 기반 서명과 희소 마스크 내부의 QR 코드 인코딩을 활용하여, 희소성, 미세조정, 모호성 공격에 대해 저항력이 있으며, 모델 정확도를 유지하면서도 화이트박스 및_BLK박스 환경 모두에서 강력한 소유권 검증이 가능하다.

ABSTRACT

Despite tremendous success in many application scenarios, the training and inference costs of using deep learning are also rapidly increasing over time. The lottery ticket hypothesis (LTH) emerges as a promising framework to leverage a special sparse subnetwork (i.e., winning ticket) instead of a full model for both training and inference, that can lower both costs without sacrificing the performance. The main resource bottleneck of LTH is however the extraordinary cost to find the sparse mask of the winning ticket. That makes the found winning ticket become a valuable asset to the owners, highlighting the necessity of protecting its copyright. Our setting adds a new dimension to the recently soaring interest in protecting against the intellectual property (IP) infringement of deep models and verifying their ownerships, since they take owners' massive/unique resources to develop or train. While existing methods explored encrypted weights or predictions, we investigate a unique way to leverage sparse topological information to perform lottery verification, by developing several graph-based signatures that can be embedded as credentials. By further combining trigger set-based methods, our proposal can work in both white-box and black-box verification scenarios. Through extensive experiments, we demonstrate the effectiveness of lottery verification in diverse models (ResNet-20, ResNet-18, ResNet-50) on CIFAR-10 and CIFAR-100. Specifically, our verification is shown to be robust to removal attacks such as model fine-tuning and pruning, as well as several ambiguity attacks. Our codes are available at https://github.com/VITA-Group/NO-stealing-LTH.

연구 동기 및 목표

• 승자 로또 티켓의 지적재산권을 보호할 급증하는 필요성을 해결하기 위해, 높은 성능과 낮은 계산 비용으로 인해 가치가 높기 때문이다.
• 성능이나 구조적 무결성에 영향을 주지 않으면서도 로또 티켓의 소유권을 검증 가능한 방법을 개발하기 위해.
• 희소한 위상적 구조를 소유권 검증을 위한 강력한 자격증명으로 활용하고, 희소화 및 미세조정에 대한 내재된 저항력을 활용하기 위해.
• 모델 희소화, 미세조정, 노이즈 주입과 같은 일반적인 공격에 저항하는 서명 내장 메커니즘을 설계하기 위해.
• 트리거 세트 기반 방법과 통합하여 화이트박스 및 블랙박스 시나리오 모두에서 검증을 가능하게 하기 위해.

제안 방법

• 그래프 기반 서명 생성 기법을 사용하여 승자 로또 티켓 마스크의 희소 연결 패턴에 사용자 고유의 서명을 내장한다.
• 원래의 희소성과 모델 성능을 유지하면서도, 희소화된 가중치 행렬 내부에 서명을 QR 코드 형식으로 인코딩한다.
• 공격 이후에도 정확한 마스크 구조를 식별하고 검증하기 위해 점수 함수(예: OMP)를 사용한다.
• 화이트박스 및 블랙박스 검증 프레임워크를 지원하기 위해 구조적 서명을 트리거 세트 기반 방법과 결합한다.
• 가짜 서명 제작을 방지하기 위해 QR 코드 설계에서 정렬 및 버전 패턴을 활용하여 내부자 공격에 대비한다.
• 내장 서명의 강건성을 평가하기 위해 평가 중에 노이즈 주입 및 희소화 공격을 적용한다.

실험 결과

연구 질문

• RQ1 승자 로또 티켓의 희소한 구조적 패턴이 소유권 검증을 위한 신뢰성 있고 강력한 자격증명으로 기능할 수 있는가?
• RQ2 모델 성능이나 희소성에 영향을 주지 않으면서도 사용자 고유의 서명을 희소 마스크에 내장할 수 있는가?
• RQ3 미세조정, 희소화, 노이즈 주입과 같은 일반적인 공격에 내장 서명이 저항력이 있는가?
• RQ4 검증 메커니즘이 화이트박스 및 블랙박스 환경 모두에서 효과적으로 작동하는가?
• RQ5 구조적 희소성이 내장 서명을 위조하거나 제거하는 데 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법은 CIFAR-10 및 CIFAR-100에서 ResNet-20, ResNet-18, ResNet-50 모델의 희소 마스크에서 QR 코드 서명을 성공적으로 내장하고 추출하며, 성능 저하가 최소에 그친다.
• 10% 희소화 이후에도 마스크에 내장된 QR 코드가 "signature" 또는 "simçi@5re"와 같은 의미 있는 문자열로 해독 가능하여, 구조적 수정에 대한 저항력을 입증한다.
• 20% 희소화 조건에서도 "sigiature"와 같은 부분 해독이 가능하여 중간 정도의 희소성 변화에 대한 강건성을 확인한다.
• 무작위 키 마스크 공격에 대해 저항력이 있다: 무작위로 생성된 마스크를 사용할 경우 성능 저하가 심각하게 발생(예: 1% 이상의 격차), 브루트포스 위조 공격에 대한 강력한 보안성을 보여준다.
• 1% 이하의 노이즈 주입 공격 비율에서는 서명 해독이 손상되지 않지만, 1% 초과 비율에서는 성능 저하가 1% 이상 초과되어 오염에 대한 저항력을 입증한다.
• 내부자 공격에서 내장된 서명을 위조된 것으로 교체할 경우, ResNet-20에서 테스트 정확도가 91.37%에서 57.00%로 50% 감소하여 이러한 공격이 실현 가능하지 않음을 확인한다.