[논문 리뷰] On the benefits of knowledge distillation for adversarial robustness

Javier Maroto, Guillermo Ortiz-Jiménez외 1명|arXiv (Cornell University)|2022. 03. 14.

Adversarial Robustness in Machine Learning인용 수 10

한 줄 요약

이 논문은 청소 및 강건성 정확도를 동시에 향상시키기 위해 강건한 티처 네트워크로부터 지식을 흡수하는 Adversarial Knowledge Distillation (AKD)를 제안한다. 학생 학습 중에 청소 레이블과 적대적 훈련된 티처의 출력을 혼합함으로써 AKD는 캘리브레이션과 일반화 능력을 향상시키며, 특히 학습이 어려운 샘플에서 표준 적대적 훈련 및 이전의 텐서 흡수 기법들을 능가한다.

ABSTRACT

Knowledge distillation is normally used to compress a big network, or teacher, onto a smaller one, the student, by training it to match its outputs. Recently, some works have shown that robustness against adversarial attacks can also be distilled effectively to achieve good rates of robustness on mobile-friendly models. In this work, however, we take a different point of view, and show that knowledge distillation can be used directly to boost the performance of state-of-the-art models in adversarial robustness. In this sense, we present a thorough analysis and provide general guidelines to distill knowledge from a robust teacher and boost the clean and adversarial performance of a student model even further. To that end, we present Adversarial Knowledge Distillation (AKD), a new framework to improve a model's robust performance, consisting on adversarially training a student on a mixture of the original labels and the teacher outputs. Through carefully controlled ablation studies, we show that using early-stopping, model ensembles and weak adversarial training are key techniques to maximize performance of the student, and show that these insights generalize across different robust distillation techniques. Finally, we provide insights on the effect of robust knowledge distillation on the dynamics of the student network, and show that AKD mostly improves the calibration of the network and modify its training dynamics on samples that the model finds difficult to learn, or even memorize.

연구 동기 및 목표

• 지식 흡수 기법이 모델 압축을 넘어서 고도로 발전된 모델의 강건성을 향상시킬 수 있는지, 특히 티처와 학생의 성능 능력이 동일할 경우를 중심으로 탐구한다.
• 레이블 혼합, 초기 정지, 앙상블 흡수와 같은 다양한 흡수 전략이 적대적 환경에서의 강건성 및 청소 정확도에 미치는 영향을 이해한다.
• AKD가 어려운 샘플이나 적대적 샘플에서의 훈련 동역학과 캘리브레이션에 어떤 영향을 미치는지 분석한다.
• 최신 상태의 모델에서 강건성을 향상시키기 위해 흡수를 적용하는 데 실용적이고 일반화 가능한 지침을 제공한다.

제안 방법

• AKD는 사전 훈련된 강건한 티처에서 나온 소프트 레이블과 청소 레이블의 혼합을 사용하여 학생 모델을 훈련한다. 이때 티처는 강건성을 향상시키기 위해 적대적 훈련된다.
• 이 방법은 레이블 혼합을 활용하며, 손실 함수는 청소 레이블에 대한 크로스 엔트로피와 티처 출력에 대한 흡수 손실을 조합한다. 이 조합의 균형을 조절하는 하이퍼파라미터가 존재한다.
• 티처 네트워크에 대해 초기 정지를 적용하여, 과적합이 일반화 능력을 떨어뜨리는 것을 방지하고 사후 흡수 성능을 극대화한다.
• 표준 모델과 강건한 모델을 조합한 티처 앙상블을 사용하여 성능 향상과 청소-강건성 간 상호보완적 트레이드오프의 범위를 넓힌다.
• 티처에 대해 소규모 ε 값의 적대적 훈련을 적용하여 청소 정확도를 추가로 향상시키면서도 일부 강건성을 유지한다.
• 특징 경로의余弦 유사도를 통해 훈련 동역학을 분석한 결과, AKD는 어려운 예측 샘플에서 캘리브레이션을 향상시키고, 쉬운 샘플에서 과도한 확신을 감소시킴으로써 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 지식 흡수 기법이 모델 압축을 넘어서 최신 모델의 강건성을 향상시킬 수 있는가? 특히 티처와 학생의 성능 능력이 동일한 경우에 대해 질문한다.
• RQ2 초기 정지, 레이블 혼합, 앙상블 흡수와 같은 기법들이 적대적 환경에서 학생 모델의 성능에 어떤 영향을 미치는가?
• RQ3 표준 티처에서 흡수하는 것과 적대적으로 훈련된 티처에서 흡수하는 것의 청소 정확도 및 강건성 정확도에 미치는 영향은 어떠한가?
• RQ4 AKD는 쉬운 샘플과 어려운 샘플에서 학생 모델의 훈련 동역학과 신뢰도 캘리브레이션에 어떤 영향을 미치는가?
• RQ5 표준 적대적 훈련에 비해 AKD는 적대적 샘플 및 분포 외 샘플에 대한 일반화 능력을 어느 정도 향상시키는가?

주요 결과

• AKD는 학생 모델의 청소 정확도와 강건성 정확도를 모두 향상시키며, 특히 WideResNet-28와 같은 대용량 모델에서 가장 큰 성과를 보였다. CIFAR-10에서 ∞-노름 기반 8/255 크기의 노이즈에 대해 61.23%의 강건성 정확도를 기록했다.
• 적대적으로 훈련된 티처에서 흡수하면 강건성이 향상되고, 표준 티저에서 흡수하면 청소 정확도가 향상된다. 또한 티처에 소규모 ε 적대적 훈련을 적용하면 두 성능 지표가 모두 향상된다.
• 초기 정지된 티처는 일관되게 최고의 사후 흡수 성능을 보이며, 최적의 사전 훈련 에포크는 모델 및 데이터셋에 따라 달라진다는 것을 시사한다.
• 여러 티처를 앙상블하는 것은 성능 향상에 기여하며, 특히 표준 모델과 강건 모델을 조합할 경우 청소 정확도와 강건성 간의 트레이드오프를 더욱灵活하게 조정할 수 있다.
• AKD는 쉬운 샘플에서의 과도한 확신을 줄이고 어려운 샘플이나 적대적 샘플에서의 신뢰도를 높여 캘리브레이션을 향상시켜, 일반화 능력과 강건성 향상과 관련이 있다.
• AKD는 학생과 티처가 어려운 샘플, 특히 적대적 샘플에서 경로의 발산을 더 크게 만들어, 어려운 영역에서의 학습 능력 향상을 시사한다.