[논문 리뷰] Respecting Transfer Gap in Knowledge Distillation

Yulei Niu, Long Chen외 2명|arXiv (Cornell University)|2022. 10. 23.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

이 논문은 지식 희석에서 기계 도메인에서 교육자 모델 예측이 문맥 동일성으로 인해 균형 잡히지 않은 상황에서 낮은 성향 점수를 가진 샘플을 추정하고 그에 대해 역수 가중치를 적용함으로써 전이 갭을 보정하는 Inverse Probability Weighting Distillation (IPWD)을 제안한다. IPWD는 CIFAR-100과 ImageNet에서 상위 1위 정확도를 0.33%에서 0.82% 향상시키며, 특히 부족하게 표현된 클래스에 유의미한 이점을 제공한다.

ABSTRACT

Knowledge distillation (KD) is essentially a process of transferring a teacher model's behavior, e.g., network response, to a student model. The network response serves as additional supervision to formulate the machine domain, which uses the data collected from the human domain as a transfer set. Traditional KD methods hold an underlying assumption that the data collected in both human domain and machine domain are both independent and identically distributed (IID). We point out that this naive assumption is unrealistic and there is indeed a transfer gap between the two domains. Although the gap offers the student model external knowledge from the machine domain, the imbalanced teacher knowledge would make us incorrectly estimate how much to transfer from teacher to student per sample on the non-IID transfer set. To tackle this challenge, we propose Inverse Probability Weighting Distillation (IPWD) that estimates the propensity score of a training sample belonging to the machine domain, and assigns its inverse amount to compensate for under-represented samples. Experiments on CIFAR-100 and ImageNet demonstrate the effectiveness of IPWD for both two-stage distillation and one-stage self-distillation.

연구 동기 및 목표

• 지식 희석에서 인간 도메인과 기계 도메인이 독립적이고 동일하게 분포되어 있다는 비현실적인 가정을 해결하기 위해, 이는 도메인 이동을 간과하기 때문이다.
• 클래스 균형 데이터로 훈련된 경우에도 문맥 동일성으로 인해 교육자 모델의 예측이 균형 잡히지 않음을 규명함으로써 전이 갭을 생성한다.
• 기계 도메인에서 교육자 지식의 불균형을 보정함으로써, 부족하게 표현된 클래스에서의 희석 성능을 향상시키기 위해 제안한다.
• 추정된 성향 점수를 기반으로 샘플 가중치를 동적으로 조정하는 방법을 제안한다.

제안 방법

• 각 훈련 샘플 $ x $ 에 대해 기계 도메인에 속할 가능성인 성향 점수 $ P(x \mid \text{machine domain}) $ 를 추정한다.
• 낮은 성향 점수를 가진 기계 도메인 내 샘플을 보완하기 위해 역확률가중치(IPW)를 적용하며, 이는 $ 1 / P(x) $ 를 샘플 가중치로 할당함으로써 이루어진다.
• 수정된 KL 발산 손실을 통해 IPW를 희석 손실에 통합한다: $ \mathcal{L}_{\text{ipw-dist}} = \sum_i w_i \cdot \text{KL}(T_i(x) \parallel S_i(x)) $, 여기서 $ w_i = 1 / P(x_i) $ 이다.
• 초기 훈련 단계에서 학생 모델과 자기 교육자 모델이 과소적합 상태일 때 가중치 추정이 정확하지 않기 때문에, IPWD를 훈련의 마지막 75 에포크에만 적용한다.
• 감쇠하는 무게 계수 $ \alpha_t $ 를 가진 점진적 희석 스케줄(PS-KD)을 적용하고, 이를 IPWD와 통합하여 $ \mathcal{L}_{\text{ps-kd + ipw}} $ 를 구성한다.
• 표준 아키텍처(ResNet, DenseNet 등)를 사용하여 표준 벤치마크(CIFAR-100, ImageNet)에서 훈련하여 다양한 설정에서의 효과를 검증한다.

실험 결과

연구 질문

• RQ1 왜 교육자로부터의 소프트 레이블을 사용함에도 불구하고 지식 희석이 부족하게 표현된 클래스에서 성능이 열 劣하는가?
• RQ2 문맥 동일성으로 인해 발생하는 교육자 모델 예측의 불균형이 인간 도메인과 기계 도메인 간의 전이 갭을 어느 정도 유발하는가?
• RQ3 역성향 가중치가 지식 희석에서 불균형한 지식 전이를 효과적으로 보정할 수 있는가?
• RQ4 초기 훈련 단계에서 IPWD를 적용하면 정확한 가중치 추정이 어려워 성능이 떨어지는가?
• RQ5 다양한 아키텍처에서 정확도, 校정성, 내성적 안정성 측면에서 IPWD는 기존의 희석 방법보다 어떻게 비교되는가?

주요 결과

• 1단계 자기 희석에서, IPWD는 CIFAR-100의 네 가지 아키텍처에서 PS-KD의 상위 1위 정확도를 0.33%에서 0.82% 향상시켰다.
• ResNeXt-29에서 마지막 75 에포크에 IPWD를 적용한 결과, 83.30%의 상위 1위 정확도를 기록하여 PS-KD(82.72%)와 조기 IPWD 적용(82.86%)를 모두 앞섰다.
• IPWD는 기대 校정 오차(ECE)와 평균 불확실성 순위(AURC)를 크게 감소시켰으며, ResNeXt-29에서 ECE는 9.15에서 4.93으로, AURC는 39.78에서 37.49로 감소했다.
• 이 방법은 모든 네 가지 아키텍처(ResNet-18, ResNet-101, DenseNet-121, ResNeXt-29)에서 일관되게 성능 향상을 보이며 일반화 능력을 입증했다.
• 제거 분석 결과, 조기 IPWD 적용은 정확한 가중치 추정이 어려워 성능을 떨어뜨리는 것으로 나타나, 지연 적용의 필요성을 확인했다.
• ImageNet에서도 IPWD는 학생 모델의 정확도와 校정성을 향상시켜, CIFAR-100을 초월한 더 복잡한 환경에서도 효과가 있음을 확인했다.