[논문 리뷰] How and When Adversarial Robustness Transfers in Knowledge Distillation?

Rulin Shao, Jinfeng Yi외 2명|arXiv (Cornell University)|2021. 10. 22.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 5

한 줄 요약

이 논문은 표준 KD가 유지하지 못하는 적대적 로버스트성을 테이처 모델에서 스터디 모델로 전달하기 위해 KDIGA(Knowledge Distillation with Input Gradient Alignment)를 제안한다. 훈련 중에 스터디 및 테이처 네트워크의 입력 기울기를 정렬함으로써 KDIGA는 스터디 모델이 테이처와 동일한 최소한의 인증 로버스트성을 확보하도록 보장하며, CIFAR-10에서 최대 17.81%의 로버스트 정확도 향상과 ImageNet에서 37.5%의 향상을 기록한다. 이와 동시에 청소정확도를 유지하거나 향상시킨다.

ABSTRACT

Knowledge distillation (KD) has been widely used in teacher-student training, with applications to model compression in resource-constrained deep learning. Current works mainly focus on preserving the accuracy of the teacher model. However, other important model properties, such as adversarial robustness, can be lost during distillation. This paper studies how and when the adversarial robustness can be transferred from a teacher model to a student model in KD. We show that standard KD training fails to preserve adversarial robustness, and we propose KD with input gradient alignment (KDIGA) for remedy. Under certain assumptions, we prove that the student model using our proposed KDIGA can achieve at least the same certified robustness as the teacher model. Our experiments of KD contain a diverse set of teacher and student models with varying network architectures and sizes evaluated on ImageNet and CIFAR-10 datasets, including residual neural networks (ResNets) and vision transformers (ViTs). Our comprehensive analysis shows several novel insights that (1) With KDIGA, students can preserve or even exceed the adversarial robustness of the teacher model, even when their models have fundamentally different architectures; (2) KDIGA enables robustness to transfer to pre-trained students, such as KD from an adversarially trained ResNet to a pre-trained ViT, without loss of clean accuracy; and (3) Our derived local linearity bounds for characterizing adversarial robustness in KD are consistent with the empirical results.

연구 동기 및 목표

• 표준 지식 증류가 스터디 모델에서 적대적 로버스트성을 유지하지 못하는 이유를 조사하는 것.
• 다른 아키텍처 간에도 테이처에서 스터디 모델로 적대적 로버스트성을 전달할 수 있는 방법을 개발하는 것.
• 약간의 가정 하에 KDIGA로 훈련된 스터디 모델이 테이처와 동일한 최소한의 인증 로버스트성을 확보한다는 것을 이론적으로 증명하는 것.
• 지식 증류 과정에서 局부 선형성(Local Linearity)이 적대적 로버스트성 전달에 미치는 역할을 분석하는 것.
• ResNets와 비전 트랜스포머를 포함한 다양한 모델에서 ImageNet과 CIFAR-10에 대해 방법을 검증하는 것.

제안 방법

• 훈련 중에 스터디 모델과 테이처 모델의 입력 기울기 간 차이의 L2 노름을 최소화하는 KDIGA 지식 증류 프레임워크를 도입한다.
• 표준 KD 손실에 스터디 모델이 테이처의 입력 기울기 방향을 모방하도록 유도하는 기울기 정규화 항을 추가한다.
• 국부 선형성 측도(LLM), 교차 엔트로피 손실 및 기울기 정렬 노름을 기반으로 인증 로버스트성의 이론적 경계를 유도한다.
• 적대적으로 훈련된 ResNets에서 더 작은 모델인 MobileNetV2와 사전 훈련된 ViTs로 전달하기 위해 방법을 적용한다.
• KDIGA를 적대적 훈련(ARD)과 결합하여 로버스트성을 추가로 향상시키며, 더 낮은 이론적 경계와 더 나은 경험적 성능을 달성한다.
• CIFAR-10과 ImageNet에서 다양한 허용 오차 반경을 가진 PGD 공격을 사용하여 로버스트 정확도를 평가한다.

실험 결과

연구 질문

• RQ1 왜 표준 지식 증류는 테이처에서 스터디 모델로 적대적 로버스트성을 유지하지 못하는가?
• RQ2 지식 증류에서 적대적 로버스트성이 성공적으로 테이처에서 스터디 모델로 전달될 수 있는 조건은 무엇인가?
• RQ3 예를 들어 ResNets와 비전 트랜스포머와 같은 근본적으로 다른 아키텍처 간에도 적대적 로버스트성을 전달할 수 있는가?
• RQ4 KDIGA의 입력 기울기 정렬은 스터디 모델의 국부 선형성과 로버스트성을 어떻게 향상시키는가?
• RQ5 청소정확도를 떨어뜨리지 않고도 사전 훈련된 스터디 모델에 KDIGA를 적용할 수 있는가?

주요 결과

• 적대적으로 훈련된 WideResNet에서 KDIGA를 통해 MobileNetV2 스터디 모델의 CIFAR-10에서 로버스트 정확도를 5.97%에서 17.81%로 향상시키며, 표준 KD보다 높은 청소정확도를 확보한다.
• ImageNet에서는 KDIGA가 스터디의 로버스트 정확도를 표준 KD의 1.5%에서 37.5%로 끌어올려 기존 기준보다 유의미하게 뛰어나다.
• KDIGA를 통해 적대적으로 훈련된 ResNet에서 사전 훈련된 비전 트랜스포머로 로버스트성을 전달할 수 있었으며, ViT의 로버스트 정확도를 11.1배 향상시키면서도 청소정확도를 손상시키지 않았다.
• 스터디 모델이 다른 아키텍처(예: ResNet에서 MobileNetV2로)를 사용하더라도 KDIGA로 훈련된 스터디 모델은 테이처와 동일하거나 그 이상의 로버스트성을 확보한다.
• 국부 선형성 측도를 기반으로 한 이론적 경계는 경험적 로버스트성 추세와 매우 유사하며, KDIGA와 ARD는 표준 KD보다 낮은 경계를 기록한다.
• KDIGA를 적대적 증류(ARD)와 결합하면 이론적 로버스트성 경계가 추가로 감소하여, CIFAR-10에서 ε=4/255일 때 최저 경계 1.081을 달성한다.