[논문 리뷰] MimosaNet: An Unrobust Neural Network Preventing Model Stealing

Kálmán Szentannai, Jalal Al-afandi외 1명|arXiv (Cornell University)|2019. 07. 02.

Adversarial Robustness in Machine Learning참고 문헌 8인용 수 5

한 줄 요약

MimosaNet는 기존의 강건한 퍼블리시드 연결 신경망을 변형시켜 원래의 기능을 유지하면서도 가중치 변형에 매우 민감한 비강건한 모델로 전환하는 방법을 제안한다. 이는 위장 신경망을 추가함으로써 이루어지며, 이는 모델 盗難를 노이즈, 미세조정 또는 지식 증류를 통한 클론 생성을 방지한다. 왜냐하면 조그만 가중치 변화만으로도 정확도가 급격히 떨어지기 때문이다. 따라서 탐지 없이 원본 모델을 복제할 수 없다.

ABSTRACT

Deep Neural Networks are robust to minor perturbations of the learned network parameters and their minor modifications do not change the overall network response significantly. This allows space for model stealing, where a malevolent attacker can steal an already trained network, modify the weights and claim the new network his own intellectual property. In certain cases this can prevent the free distribution and application of networks in the embedded domain. In this paper, we propose a method for creating an equivalent version of an already trained fully connected deep neural network that can prevent network stealing: namely, it produces the same responses and classification accuracy, but it is extremely sensitive to weight changes.

연구 동기 및 목표

• 공격자가 감지되지 않게 가중치를 수정함으로써 훈련된 모델을 클론하는 증가하는 위협에 대응하기 위해.
• 원래 네트워크의 정확도와 기능을 유지하면서도 모델이 가중치 변형에 매우 민감하게 만들 방법을 개발하기 위해.
• 워터마킹이나 복잡한 변형 기법에 의존하지 않고도 딥러닝 모델의 지적 재산권을 무단으로 재사용하는 것을 방지하는 솔루션을 제공하기 위해.
• 가중치 변화에 취약한 모델로 변형시켜 역공학이 계산적으로 불가능하게 만들면서도 안전하게 훈련된 모델를 공유할 수 있도록 하기 위해.

제안 방법

• 선택된 완전 연결 레이어에 특정 가중치와 편향을 가진 추가 신경망을 추가하여 기존 출력에 영향을 주지 않으면서도 '위장' 신경망을 생성하는 방식으로 레이어를 확장한다.
• 새로운 신경망의 활성화가 모든 훈련 입력에서 0이 되도록 보장함으로써 원래 네트워크의 입력-출력 매핑을 유지함으로써 원래의 분류 정확도를 유지한다.
• 입력 및 출력 레이어를 제외한 내부 레이어에 대해 반복적으로 적용 가능하므로 네트워크의 점진적 취약성 증가가 가능하다.
• 수학적 공식에 기반하여, 새로운 레이어의 가중치가 전방 전파 과정에서 기여도의 합이 상쇄되도록 구성함으로써 기능을 유지한다.
• 표준 훈련 및 추론과 호환되며, 원본 모델 아키텍처에 추가적인 신경망을 추가하는 것 외에는 변경이 필요 없다.
• 가산 노이즈, 추가 훈련, 지식 증류에 대한 실험을 통해 취약성이 입증되었으며, 조그만 가중치 변화만으로도 정확도가 급격히 감소함을 보였다.

실험 결과

연구 질문

• RQ1 완전 연결 신경망을 원래 정확도를 유지하면서도 가중치 변형에 매우 민감한 비강건한 모델로 변형시킬 수 있는가?
• RQ2 가산 노이즈, 미세조정, 또는 지식 증류를 통한 모델 도용 방지에 이 방법이 얼마나 효과적인가?
• RQ3 원래 네트워크의 출력을 변경하지 않고 위장 신경망을 추가할 수 있는가? 이는 기능 유지에 기여하는가?
• RQ4 원래 정확도가 급격히 떨어지기 시작하는 가중치 노이즈의 임계값은 얼마인가?
• RQ5 MimosaNet로 보호된 모델을 클론하기 위해 지식 증류를 수행했을 때의 성능은 어떠한가?

주요 결과

• MNIST에서 최대 72개의 위장 신경망을 각 레이어에 추가한 후에도 MimosaNet 변환은 원래의 분류 정확도를 유지한다.
• 노이즈 수준이 10^-7에 도달하는 순간 정확도가 급격히 감소하여 가중치 변형에 대한 극도로 민감한 민감도를 보임을 시사한다.
• SGD, AdaGrad, ADAM 등의 최적화기로 추가 훈련을 수행할 경우 원래 정확도를 유지하기 위해 가중치 거리가 10^-7 이하로 유지되어야 하며, 이는 복구가 계산적으로 불가능함을 의미한다.
• 지식 증류를 통해 원래의 기능을 재구성하는 데 실패하였으며, 심지어 128개의 신경망을 가진 증류 모델에서도 최대 정확도가 0.17로 떨어졌다.
• 이 방법은 노이즈, 미세조정, 증류 등 다양한 변형 유형에 대해 효과적이며, 모델 도용에 대한 강력한 저항력을 보였다.
• 계산 오버헤드는 다항식 수준이며 극히 미미하며, 원본 네트워크 크기 대비 추가된 신경망 수가 적기 때문이다.