[논문 리뷰] Computation-Efficient Knowledge Distillation via Uncertainty-Aware Mixup

Guodong Xu, Ziwei Liu외 1명|arXiv (Cornell University)|2020. 12. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 6

한 줄 요약

이 논문은 계산 비용을 줄이면서도 성능을 저하시키지 않는 계산 효율적인 지식 증류 방법인 UNIXKD를 제안한다. 이 방법은 정보성 높은 샘플을 우선시하기 위해 불확실성 기반 샘플링과 지식을 압축하기 위한 적응형 믹스업을 사용하여, CIFAR100에서 훈련 비용을 21% 감소시키며 기존의 KD를 능가하고, ImageNet에서는 훨씬 낮은 계산 비용으로 동일한 성능을 달성한다.

ABSTRACT

Knowledge distillation, which involves extracting the "dark knowledge" from a teacher network to guide the learning of a student network, has emerged as an essential technique for model compression and transfer learning. Unlike previous works that focus on the accuracy of student network, here we study a little-explored but important question, i.e., knowledge distillation efficiency. Our goal is to achieve a performance comparable to conventional knowledge distillation with a lower computation cost during training. We show that the UNcertainty-aware mIXup (UNIX) can serve as a clean yet effective solution. The uncertainty sampling strategy is used to evaluate the informativeness of each training sample. Adaptive mixup is applied to uncertain samples to compact knowledge. We further show that the redundancy of conventional knowledge distillation lies in the excessive learning of easy samples. By combining uncertainty and mixup, our approach reduces the redundancy and makes better use of each query to the teacher network. We validate our approach on CIFAR100 and ImageNet. Notably, with only 79% computation cost, we outperform conventional knowledge distillation on CIFAR100 and achieve a comparable result on ImageNet.

연구 동기 및 목표

• 지식 증류(KD)의 효율성 문제 중 미처 다루어지지 않은 부분을 다루며, 성능을 저하시키지 않은 채 계산 비용을 줄이는 데 초점 맞추기.
• 기존 KD에서 쉽게 분류 가능한 높은 신뢰도의 샘플들에 대한 과도한 학습으로 인한 레이어의 부재성 문제 규명하기.
• 불확실성과 지식의 압축 정도에 따라 샘플 중요도를 동적으로 조정함으로써 훈련 효율을 향상시키는 방법 제안하기.
• 교사 네트워크에 대한 중복된 쿼리 수를 줄임으로써 학생 성능을 유지하거나 향상시키면서도 계산 비용을 낮출 수 있음을 입증하기.

제안 방법

• 학생 네트워크 예측에서 유도된 불확실성으로 샘플의 정보성 평가하기. 높은 불확실성은 정보성 높고 분류가 어려운 샘플을 의미한다.
• 적응형 믹스업 적용: 불확실한 샘플에는 경미한 믹스업을, 확신 있는 샘플에는 강한 믹스업을 적용하여 지식의 압축 정도를 높인다.
• 혼합된 샘플의 교사 네트워크 출력(로짓)을 소프트 레이블로 사용하여 학생을 지도함으로써 교사의 순방향 전파 횟수를 줄인다.
• 효율성은 교사 및 학생 네트워크의 총 순방향/역방향 전파 횟수로 정의하여 다양한 KD 방법 간 직접 비교 가능하게 한다.
• 불확실성 샘플링과 믹스업을 통합하여 쉽게 분류되는 샘플에 대한 중복 학습을 줄이고, 어려운 경계 샘플에 대한 학습을 향상시킨다.
• 원본 및 혼합 샘플에 대해 교차 엔트로피 손실을 조합하여 학생 네트워크를 훈련시키며, 믹스업 가중치는 불확실성 수준에 따라 조정한다.

실험 결과

연구 질문

• RQ1 지식 증류를 성능 저하 없이 더 계산 효율적으로 만들 수 있는가?
• RQ2 쉬운 샘플에 대한 중복 학습을 줄이면 전체 증류 효율성이 향상되는가?
• RQ3 불확실성 추정이 선택적 지식 전달을 위한 정보성 있는 샘플을 효과적으로 식별할 수 있는가?
• RQ4 불확실성 기반 적응형 믹스업이 지식의 압축 정도와 모델 일반화 능력을 어떻게 향상시키는가?
• RQ5 학생 정확도를 유지하거나 향상시키면서도 교사의 순방향 전파 횟수를 어느 정도 줄일 수 있는가?

주요 결과

• UNIXKD는 CIFAR100에서 기존의 지식 증류보다 높은 상위-1 정확도를 달성하면서도 훈련 비용을 21% 감소시켰다(기준 대비 79%).
• ImageNet에서는 훨씬 낮은 계산 비용으로 기존 KD와 유사한 성능을 달성하여 강력한 일반화 능력을 입증했다.
• 불확실성 샘플링은 범주 중심에서 멀리 떨어져 있고 교사의 엔트로피가 높은 샘플을 우선적으로 선택함으로써 그 정보성과 난이도를 확인했다.
• 이 방법은 첫 몇 에포크 내에 빠르게 어려운 범주에 대한 샘플링 전략을 학습하며 빠르게 안정화되고 높은 샘플 다양성을 유지한다.
• 샘플링 빈도와 범주 난이도 사이에 강한 음의 상관관계가 존재한다: 불확실성 기반으로 어려운 범주는 더 자주 샘플링되며, 이로 인해 정확도가 향상된다.
• 랜덤 샘플링은 범주 간 균일하게 샘플링하지만, 불확실성 기반 샘플링은 어려운 샘플에 집중함으로써 중복성을 줄여 효율성과 정확도를 모두 향상시킨다.