[논문 리뷰] Model Weight Theft With Just Noise Inputs: The Curious Case of the Petulant Attacker

Nicholas Roberts, Vinay Uday Prabhu외 1명|arXiv (Cornell University)|2019. 12. 19.

Adversarial Robustness in Machine Learning참고 문헌 9인용 수 8

한 줄 요약

이 논문은 유한독립동일분포(Bernoulli) 노이즈 입력과 소프트맥스 레이어 출력에만 접근할 수 있는 조건에서 컨볼루션 신경망의 가중치를 도용할 수 있음을 보여준다. 이로써 MNIST에서는 96%의 테스트 정확도, KMNIST에서는 82%의 정확도를 달성하였다. 주요 기여는 모델 추출 가능성과 데이터셋의 복잡성, 특히 공간 상관관계 간의 상관관계를 규명하고, 추출 후 성능 비율을 기반으로 한 새로운 데이터셋 복잡도 측도를 제안한 것이다.

ABSTRACT

This paper explores the scenarios under which an attacker can claim that 'Noise and access to the softmax layer of the model is all you need' to steal the weights of a convolutional neural network whose architecture is already known. We were able to achieve 96% test accuracy using the stolen MNIST model and 82% accuracy using the stolen KMNIST model learned using only i.i.d. Bernoulli noise inputs. We posit that this theft-susceptibility of the weights is indicative of the complexity of the dataset and propose a new metric that captures the same. The goal of this dissemination is to not just showcase how far knowing the architecture can take you in terms of model stealing, but to also draw attention to this rather idiosyncratic weight learnability aspects of CNNs spurred by i.i.d. noise input. We also disseminate some initial results obtained with using the Ising probability distribution in lieu of the i.i.d. Bernoulli distribution.

연구 동기 및 목표

• 실제 학습 데이터에 접근할 수 없음에도 불구하고, 랜덤 노이즈 입력과 소프트맥스 접근만으로 모델 가중치가 도용 가능한지 조사하기 위해.
• 입력 노이즈 분포와 모델 추출 가능성 간의 관계, 특히 공간 상관관계의 영향을 탐구하기 위해.
• 노이즈 입력을 사용한 모델 추출의 어려움에 기반해 데이터셋 복잡도를 측정하는 새로운 측도를 제안하기 위해.
• 특히 Ising 모델을 포함한 다양한 노이즈 분포가 도용 성공률에 미치는 영향을 평가하기 위해.
• 비정보적 입력 조건에서도 CNN의 가중치 도용에 대한 취약성을 부각시키며, 아키텍처 및 데이터 분포 의존성에 주목하기 위해.

제안 방법

• p=0.5로 설정된 이항분포를 사용해 600,000개의 이진 무작위 이미지를 절차적으로 생성하여 입력 자극으로 사용한다.
• 각 무작위 이미지를 피해 모델의 소프트맥스 레이어에 입력하여 클래스 확률 분포를 레이블로 수집한다.
• 무작위 입력과 해당 소프트맥스 출력을 지도 레이블로 사용해 새로운 모델을 처음부터 학습시킨다.
• 공간적으로 상관관계가 있는 노이즈 입력을 생성하기 위해 Ising 모델을 사용하고, i.i.d. 노이즈 분포와 성능을 비교한다.
• 원래 테스트 세트에서 추출 후 검증 정확도를 측정하여 모델 추출 가능성의 정도를 평가하며, 이는 추출 전 정확도로 정규화된다.
• Ising 모델의 역온도 β를 다양하게 조정하여 추출 성능 및 일반화 능력에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 소프트맥스 레이어 접근만 가능하고 실질적인 학습 데이터에 접근할 수 없는 조건에서, i.i.d. Bernoulli 노이즈 입력만으로 깊은 신경망의 가중치를 효과적으로 도용할 수 있는가?
• RQ2 특히 공간 상관관계를 지닌 노이즈 분포(예: Ising 모델)를 사용할 경우, 모델 추출 성공률에 어떤 영향을 미치는가?
• RQ3 후추출 정확도/전추출 정확도 비율로 측정된 데이터셋의 내재적 복잡도는 얼마나 그 학습 가능성과 구조적 특성을 반영하는가?
• RQ4 왜 Ising 모델이 i.i.d. 노이즈 분포(예: Bernoulli, 가우시안, Gumbel)보다 더 높은 성능을 보이며, 이는 공간 상관관계가 모델 가중치 학습에 어떤 역할을 하는지를 시사하는가?
• RQ5 Ising 모델의 온도 파rameter β는 도용된 모델의 일반화 능력과 정확도에 어떤 영향을 미치는가?

주요 결과

• i.i.d. Bernoulli 노이즈 입력만을 사용한 경우, 도용된 MNIST 모델은 검증 정확도 95.93%를 기록했으며, 원본 모델 성능의 96.87%에 해당한다.
• KMNIST의 경우 도용된 모델은 81.18%의 정확도를 기록했고, 원본 모델의 94.79%에 해당하는 85.64% 수준이었다.
• β=0.3로 설정된 Ising 모델이 MNIST에서 최고의 추출 정확도 98.02%를 기록했으며, i.i.d. 노이즈 분포보다 유의미하게 뛰어났다.
• Ising 모델의 성공은 공간 상관관계를 모델링할 수 있다는 점에 기인하며, 이는 Bernoulli, 가우시안, Gumbel 등 i.i.d. 노이즈 분포에서는 공간 상관관계가 존재하지 않기 때문이다.
• 후추출 정확도/전추출 정확도 비율은 데이터셋 복잡도의 타당한 지표로 기능하며, MNIST는 가장 추출이 용이하고, notMNIST는 가장 어려운 편이었다(비율 0.1181).
• β를 변화시킬 때 손실 및 정확도 곡선에서 Occam의 산비탈 효과가 관찰되었으며, MNIST, KMNIST, Fashion MNIST에서는 β=0.3에서 최적의 성능를 보였고, notMNIST에서는 β=0.8에서 최적의 성능를 기록했다.