[논문 리뷰] Knowledge Distillation Thrives on Data Augmentation.

Huan Wang, Suhas Lohit외 2명|arXiv (Cornell University)|2020. 12. 05.

Advanced Neural Network Applications참고 문헌 39인용 수 10

한 줄 요약

이 논문은 지식 증류(KD)가 데이터 증강(DA)으로부터 크게 유익을 얻는 이유를 밝혀내며, KD 손실이 교차 엔트로피 손실과 달리 증강된 입력의 다중 시각을 활용하기 때문이다. 더 강력한 DA 기법—예를 들어, mixup, CutMix, 그리고 새로운 KD 전용 활성 학습 기반 DA—를 적용함으로써 성능이 크게 향상되며, 더 복잡한 증류 손실을 사용하는 최신 기법들조차도 뛰어넘는 결과를 얻는다.

ABSTRACT

Knowledge distillation (KD) is a general deep neural network training framework that uses a teacher model to guide a student model. Many works have explored the rationale for its success, however, its interplay with data augmentation (DA) has not been well recognized so far. In this paper, we are motivated by an interesting observation in classification: KD loss can benefit from extended training iterations while the cross-entropy loss does not. We show this disparity arises because of data augmentation: KD loss can tap into the extra information from different input views brought by DA. By this explanation, we propose to enhance KD via a stronger data augmentation scheme (e.g., mixup, CutMix). Furthermore, an even stronger new DA approach is developed specifically for KD based on the idea of active learning. The findings and merits of the proposed method are validated by extensive experiments on CIFAR-100, Tiny ImageNet, and ImageNet datasets. We can achieve improved performance simply by using the original KD loss combined with stronger augmentation schemes, compared to existing state-of-the-art methods, which employ more advanced distillation losses. In addition, when our approaches are combined with more advanced distillation losses, we can advance the state-of-the-art performance even more. On top of the encouraging performance, this paper also sheds some light on explaining the success of knowledge distillation. The discovered interplay between KD and DA may inspire more advanced KD algorithms.

연구 동기 및 목표

• 지식 증류(KD) 손실이 교차 엔트로피 손실과 달리 더 긴 훈련 반복 횟수에서 유의미한 성능 향상을 보이는 이유를 조사하는 것.
• KD와 데이터 증강(DA) 간의 상호작용 메커니즘을 이해하고, 특히 DA가 KD 성능을 어떻게 향상시키는지 규명하는 것.
• KD에 특화된 더 강력한 데이터 증강 전략을 제안하여 학생 모델의 성능을 향상시키는 것.
• 기존의 더 복잡한 증류 손실을 사용하는 최신 기법들을 능가하는 성능을 달성하기 위해 표준 KD 손실과 고급 DA를 조합하는 것이 가능한지 검증하는 것.
• KD의 성공 요인을 밝혀내기 위해 지식 증류와 데이터 증강 간의 상호보완적 관계를 밝혀내는 데 기여하는 통찰을 제공하는 것.

제안 방법

• 저자는 KD 손실이 데이터 증강으로부터 유익을 얻는 이유를 밝혀내며, 동일한 입력에 대한 다중 증강 시각을 활용할 수 있기 때문이라고 분석한다.
• mixup 및 CutMix와 같은 강력한 데이터 증강 기법을 적용하여 KD를 향상시키는 방법을 제안한다. 이는 다양한 입력 변형을 생성한다.
• 특히 KD 성능 향상을 위해 설계된 활성 학습 원리를 기반으로 한 새로운 데이터 증강 방법을 개발한다.
• 이 방법은 교사 모델의 신뢰도를 활용하여 지식 전이를 극대화하는 데 기여하는 정보성 있는 증강을 선별한다.
• 기존의 KD 손실을 유지하면서도, 증가된 데이터 다양성 덕분에 일반화 성능을 크게 향상시킨다.
• CIFAR-100, Tiny ImageNet, ImageNet에서 실험을 수행하여 다양한 벤치마크에서 성능 향상을 검증한다.

실험 결과

연구 질문

• RQ1 동일한 데이터로 훈련되더라도, 왜 지식 증류 손실은 더 긴 훈련 반복 횟수에서 유의미한 성능 향상을 보이는가?
• RQ2 데이터 증강은 지식 증류와 어떻게 상호작용하여 모델 성능을 향상시키는가?
• RQ3 증류 손실을 수정하지 않고도 더 강력한 데이터 증강 기법만으로도 KD 성능을 향상시킬 수 있는가?
• RQ4 KD에 특화된 데이터 증강 전략은 표준 증강 기법보다 성능이 뛰어나게 설계될 수 있는가?
• RQ5 제안된 DA 방법을 고급 증류 손실과 조합하면 최신 기법의 성능을 초월할 수 있는가?

주요 결과

• 지식 증류 손실은 입력의 다중 증강 시각을 활용할 수 있기 때문에 더 긴 훈련 반복 동안 성능 향상을 보이며, 교차 엔트로피 손실은 이를 효과적으로 활용하지 못한다.
• 표준 KD 손실에 mixup 및 CutMix와 같은 강력한 데이터 증강 기법을 적용함으로써 CIFAR-100, Tiny ImageNet, ImageNet에서 성능 향상이 이루어진다.
• 활성 학습 원리를 기반으로 한 새로운 KD 전용 데이터 증강 방법은 정보성 있는 증강에 집중함으로써 성능을 추가로 향상시킨다.
• 표준 KD 손실과 더 강력한 데이터 증강의 조합이 더 복잡한 증류 손실을 사용하는 최신 기법들을 능가하는 성능을 달성한다.
• 고급 증류 손실과 조합할 경우, 제안된 데이터 증강 기법은 더욱 높은 성능 향상을 이끌어내며, 최신 기술 수준을 넘어설 수 있다.
• 이러한 발견들은 지식 증류와 데이터 증강 간에 이전까지 간과되었던 상호보완적 상호작용이 존재함을 드러내며, KD의 성공 요인 중 일부를 설명한다.