[논문 리뷰] Undistillable: Making A Nasty Teacher That CANNOT teach students

Haoyu Ma, Tianlong Chen외 4명|arXiv (Cornell University)|2021. 05. 16.

Adversarial Robustness in Machine LearningComputer Science참고 문헌 29인용 수 18

한 줄 요약

이 논문은 표준 교사 모델과 거의 동일한 성능을 유지하면서 지식 정복을 통해 훈련된 학생 모델의 성능을 심각하게 떨어뜨리는 '나쁜 교사'(Nasty Teacher)를 소개한다. 새로운 자기파괴 지식 정복 방법을 사용하여, 정상 교사 모델과의 출력 분산을 극대화하면서도 정확도를 유지함으로써, 표준 및 데이터 없는 지식 정복 공격을 모두 효과적으로 차단한다. 이로 인해 학생 모델의 정확도가 최대 10% 이상 감소한다.

ABSTRACT

Knowledge Distillation (KD) is a widely used technique to transfer knowledge from pre-trained teacher models to (usually more lightweight) student models. However, in certain situations, this technique is more of a curse than a blessing. For instance, KD poses a potential risk of exposing intellectual properties (IPs): even if a trained machine learning model is released in 'black boxes' (e.g., as executable software or APIs without open-sourcing code), it can still be replicated by KD through imitating input-output behaviors. To prevent this unwanted effect of KD, this paper introduces and investigates a concept called Nasty Teacher: a specially trained teacher network that yields nearly the same performance as a normal one, but would significantly degrade the performance of student models learned by imitating it. We propose a simple yet effective algorithm to build the nasty teacher, called self-undermining knowledge distillation. Specifically, we aim to maximize the difference between the output of the nasty teacher and a normal pre-trained network. Extensive experiments on several datasets demonstrate that our method is effective on both standard KD and data-free KD, providing the desirable KD-immunity to model owners for the first time. We hope our preliminary study can draw more awareness and interest in this new practical problem of both social and legal importance.

연구 동기 및 목표

• 지식 정복(KD)을 통한 기계학습 모델 지적재산권(IP) 泄露 위험 증가 문제를 다루기 위해, 특히 모델이 블랙박스 API 또는 소프트웨어 형태로 배포될 경우의 위험을 해결하고자 한다.
• 원본 훈련 데이터에 접근할 수 없더라도, KD를 통한 비공식적 모델 클로닝을 방지할 수 있는 실용적인 방어 기법을 개발하고자 한다.
• 일반 교사 모델과 거의 동일한 성능을 유지하면서도, 지식 정복 과정에서 학생 성능을 적극적으로 악화시키는 교사 모델을 구축하고자 한다. 이를 통해 모델 도용을 억제하고자 한다.
• 표준 KD 및 훈련 데이터가 공격자에게 제공되지 않는 데이터 없는 KD 환경에서 이 방어 기법의 효과성을 입증하고자 한다.
• 모델 소유주가 역설계 및 무단 복제를 방지하기 위한 일반적이고 경량의 솔루션을 제공하고자 한다.

제안 방법

• 정상적으로 훈련된 교사 네트워크와의 출력 차이를 극대화하도록 설계된 자기파괴 지식 정복 알고리즘을 제안한다.
• 일반 교사 모델의 로짓과 특징 맵과의 분산을 유도하는 손실 함수를 사용하며, 동시에 원래 데이터셋에 대한 높은 정확도를 유지한다.
• 추가 데이터셋, 보조 네트워크, 또는 백도어 트리거가 필요 없는 단일 단계 훈련 프로세스를 적용한다.
• 표준 KD에선 정상 교사 모델에 대해 정복 손실을 최적화하고, 데이터 없는 KD에선 나쁜 교사가 생성한 합성 데이터의 품질이 낮아지도록 보장한다.
• 분산 정도를 제어하기 위해 온도 스케일링(τ)과 가중치 요소(ω)와 같은 하이퍼파라미터를 조정한다. 이는 교사 성능 저하 없이도 가능하다.
• ResNet-18, ResNet-34 등의 다양한 아키텍처와 CIFAR-10, CIFAR-100 등의 데이터셋에서 검증하여, 학생 모델 성능 저하가 일관되게 발생하는 것을 확인했다.

실험 결과

연구 질문

• RQ1 지식 정복 과정에서 학생 성능을 악화시키는 동시에 높은 정확도를 유지할 수 있는 교사 모델을 훈련시킬 수 있는가?
• RQ2 훈련 데이터가 전혀 제공되지 않는 데이터 없는 지식 정복 공격에 대해 방어적 교사 모델이 어느 정도 저항력을 가지는가?
• RQ3 외부 데이터셋이나 보조 모델 없이도 제안된 자기파괴 훈련 방법이 모델 클로닝을 효과적으로 방지할 수 있는가?
• RQ4 정상 교사와 나쁜 교사 간의 성능 격차가 표준 및 데이터 없는 KD 환경에서 학생 모델 정확도에 어떤 영향을 미치는가?
• RQ5 나쁜 교사 개념이 다양한 모델 아키텍처와 데이터셋에 일반화되어 실용적인 지적재산권 보호 수단으로 활용될 수 있는가?

주요 결과

• 나쁜 교사 모델은 CIFAR-10 및 CIFAR-100에서 정상 교사 모델과 정확도 격차가 1% 미만으로 유지되어 자체 활용성에 거의 영향을 주지 않는다.
• 표준 지식 정복 환경에서 나쁜 교사 모델을 기반으로 훈련된 학생 모델은 정상 교사 모델을 기반으로 훈련한 경우보다 성능이 10% 이상 떨어진다.
• 데이터 없는 KD 환경에서는 CIFAR-100에서 정확도가 71.06%에서 65.67%로 5.39%p 감소했고, CIFAR-10에선 92.49%에서 86.15%로 6.34%p 감소했다.
• DeepInversion를 통한 시각화 결과, 나쁜 교사에서 생성된 합성 데이터는 정상 교사가 생성한 고해상도 출력과 달리 왜곡되고 노이즈가 많으며 잘못된 카테고리별 특징을 포함하고 있다.
• 학생 모델이 훈련 데이터의 10%만으로도 훈련된 경우에도 이 방법이 효과를 유지하여, 모델 도용 시나리오에서의 데이터 부족 상황에 강건함을 입증한다.
• 하이퍼파라미터 조정에 대해 저항력이 있다: 정복 온도(α)를 낮추어도 학생 성능이 복구되지 않으며, 이는 성능 저하가 하이퍼파라미터 민감도 때문이 아니라는 것을 확인한다.