[논문 리뷰] Improving Generalization and Robustness with Noisy Collaboration in Knowledge Distillation.

Elahe Arani, Fahad Sarfraz외 1명|arXiv (Cornell University)|2019. 10. 11.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 제안된 Fickle Teacher, Soft-Randomization, Messy-Collaboration 기법을 통해 지식 증류의 일반화 능력과 견고성을 향상시키기 위해 다중 수준에서 통제된 노이즈를 도입한다. 교사의 지도 방식을 다양화하고, 학생의 입력을 무작위화하며, 손상된 레이블로 훈련하는 방식을 통해 일반화 능력과 적대적 견고성이 크게 향상되며, 정확도 저하 폭은 최소화된다.

ABSTRACT

Inspired by trial-to-trial variability in the brain that can result from multiple noise sources, we introduce variability through noise at different levels in a knowledge distillation framework. We introduce Fickle Teacher which provides variable supervision signals to the student for the same input. We observe that the response variability from the teacher results in a significant generalization improvement in the student. We further propose Soft-Randomization as a novel technique for improving robustness to input variability in the student. This minimizes the dissimilarity between the student's distribution on noisy data with teacher's distribution on clean data. We show that soft-randomization, even with low noise intensity, improves the robustness significantly with minimal drop in generalization. Lastly, we propose a new technique, Messy-collaboration, which introduces target variability, whereby student and/or teacher are trained with randomly corrupted labels. We find that supervision from a corrupted teacher improves the adversarial robustness of student significantly while preserving its generalization and natural robustness. Our extensive empirical results verify the effectiveness of adding constructive noise in the knowledge distillation framework for improving the generalization and robustness of the model.

연구 동기 및 목표

• 제안된 통제된 노이즈 주입을 통해 지식 증류에서 모델의 일반화 능력과 견고성을 향상시키는 것.
• 정적 교사 지도의 한계를 해결하기 위해 Fickle Teacher를 통해 응답의 다양성을 도입하는 것.
• Soft-Randomization을 활용해 입력 변동성에 대한 견고성을 향상시키고, 학생과 교사 간의 분포 차이를 최소화하는 것.
• 레이블 손상이 학생의 견고성에 미치는 영향을 조사하고, 훈련 전략으로 Messy-Collaboration을 제안하는 것.
• 지식 증류에서 유의미한 노이즈가 자연적 일반화 능력과 적대적 견고성 향상에 기여함을 보여주는 것.

제안 방법

• Fickle Teacher는 추론 시기 동안 노이즈를 적용하여 동일한 입력에 대해 다양한 교사 출력을 생성함으로써 응답의 다양성을 도입한다.
• Soft-Randomization은 노이즈가 가해진 입력에 대한 학생의 출력과 청소된 입력에 대한 교사의 출력 간의 KL 발산을 최소화한다.
• Messy-Collaboration은 레이블을 무작위로 손상시켜 학생 및/또는 교사를 훈련함으로써 증류 과정 중 레이블 노이즈를 시뮬레이션한다.
• 이 프레임워크는 세 가지 수준에서 노이즈를 통합한다: 교사 출력의 변동성, 입력 흐트러짐, 레이블 손상.
• 동적 지도 신호를 활용한 지식 증류를 통해 학생의 일반화 능력과 견고성을 향상시킨다.
• Fickle Teacher에서는 추론 시기, Soft-Randomization과 Messy-Collaboration에서는 훈련 시기 동안 노이즈가 적용된다.

실험 결과

연구 질문

• RQ1 교사의 응답 다양성을 도입함으로써 지식 증류에서 일반화 능력 향상이 가능한가?
• RQ2 Soft-Randomization은 입력 노이즈에 대한 견고성을 효과적으로 향상시키며 일반화 능력을 유지하는가?
• RQ3 손상된 레이블로 훈련하면 학생 모델의 적대적 견고성이 향상되는가?
• RQ4 다양한 노이즈 원천의 조합이 모델의 일반화 능력과 견고성에 어떤 영향을 미치는가?
• RQ5 노이즈 적용 시 견고성 향상와 정확도 저하 간의 상충 관계는 어떠한가?

주요 결과

• Fickle Teacher는 동일한 입력에 대해 다양한 지도 신호를 제공함으로써 일반화 능력을 크게 향상시킨다.
• Soft-Randomization은 낮은 노이즈 강도에서도 일반화 능력 저하 없이 입력 변동성에 대한 견고성을 향상시킨다.
• Messy-Collaboration은 학생의 자연적 견고성과 일반화 성능를 유지하면서도 적대적 견고성을 향상시킨다.
• 다양한 노이즈 원천의 조합은 기존 증류 방식에 비해 뛰어난 일반화 능력과 견고성을 달성한다.
• 지식 증류에서 유의미한 노이즈는 정확도를 저하시키지 않으면서도 일반화 능력과 견고성을 모두 향상시키는 데 효과적이다.
• 실험 결과는 출력, 입력, 레이블 수준에서의 노이즈 주입이 모델 성능 향상에 상호 보완적 효과를 낳는다는 것을 확인한다.