[논문 리뷰] Teacher's pet: understanding and mitigating biases in distillation

Michał Łukasik, Srinadh Bhojanapalli외 2명|arXiv (Cornell University)|2021. 06. 19.

Machine Learning and Data Classification참고 문헌 43인용 수 5

한 줄 요약

이 논문은 지식 정령이 희귀 클래스를 포함한 저도달된 데이터 하위군에서 성능을 떨어뜨릴 수 있음을 밝혀내며, 이는 교사 모델이 자신의 오류를 전파하고 악화시키기 때문이다. 이를 완화하기 위해 저자는 AdaAlpha와 AdaMargin을 제안하며, 이는 각 클래스별 적응형 혼합 가중치와 마진을 적용하여 신뢰할 수 없는 하위군에 대한 교사 영향을 줄여, 전체 성능을 훼손하지 않은 채 하위군 정확도를 향상시킨다.

ABSTRACT

Knowledge distillation is widely used as a means of improving the performance of a relatively simple student model using the predictions from a complex teacher model. Several works have shown that distillation significantly boosts the student's overall performance; however, are these gains uniform across all data subgroups? In this paper, we show that distillation can harm performance on certain subgroups, e.g., classes with few associated samples. We trace this behaviour to errors made by the teacher distribution being transferred to and amplified by the student model. To mitigate this problem, we present techniques which soften the teacher influence for subgroups where it is less reliable. Experiments on several image classification benchmarks show that these modifications of distillation maintain boost in overall accuracy, while additionally ensuring improvement in subgroup performance.

연구 동기 및 목표

• 지식 정령이 모든 데이터 하위군, 특히 저도달된 클래스에서 균일하게 성능을 향상시키는지 조사하기.
• 정령 과정에서 희귀 또는 저빈도 클래스에서 성능 저하의 근본 원인을 규명하기.
• 신뢰할 수 없는 하위군에 대한 교사 영향을 적응적으로 줄여 정령 유도 편향을 완화하는 방법 개발하기.
• 전체 평균이 아닌 모든 클래스에서 정확도가 향상되도록 보장하면서 모델 성능을 훼손하지 않기.

제안 방법

• 하나의 원-핫 레이블과 교사 확률 간의 각 클래스별 적응형 혼합 가중치를 적용하는 AdaAlpha를 제안하며, 교사가 잘못된 예측에서 과신할 경우의 영향을 줄인다.
• 특히 교사가 잘못 예측에 대해 높은 신뢰도를 가질 경우에 대해 각 클래스별 마진을 적용하여 정령 신호를 부드럽게 하는 AdaMargin을 도입한다.
• 진짜 레이블의 클래스별 신뢰도 점수를 활용해 교사 신뢰성에 기반해 어느 하위군에 대해 교사 영향을 줄여야 할지 결정한다.
• 온도 기반의 부드러운 처리 메커니즘을 적용해 각 클래스별로 정령 손실을 동적으로 조정함으로써 尾 클래스에서의 일반화 성능을 향상시킨다.
• CIFAR-100-LT 및 ImageNet과 같은 장꼬리 벤치마크에서 성능을 평가하며 하위군 정확도와 전체 정확도를 비교한다.
• 제안된 방법의 타당성을 입증하기 위해 제거 실험을 수행하며, 무작위로 가중치를 섞거나 저빈도 클래스에서 정령 신호를 전면 제거하는 경우가 제안된 방법보다 성능이 열 劣하다는 것을 확인한다.

실험 결과

연구 질문

• RQ1 지식 정령은 모든 데이터 하위군에서 균일하게 성능을 향상시키는가, 아니면 저도달된 클래스에 대해 비례적으로 악영향을 미치는가?
• RQ2 교사 모델이 잘못된 예측에서 과신할 경우, 특히 정령 과정에서 희귀 클래스에서 성능 저하가 발생하는 원인은 무엇인가?
• RQ3 정령 신호에 대해 하위군별로 적응형 가중치를 적용하면 편향을 완화하고 클래스 간 공정성을 향상시킬 수 있는가?
• RQ4 제안된 방법인 AdaAlpha와 AdaMargin는 전체 정확도를 유지하면서도 하위군 성능을 향상시키는가?

주요 결과

• CIFAR-100-LT에서 정령은 전체 정확도가 1% 향상되더라도, 가장 열악한 10개 클래스의 정확도를 약 2%p 떨어뜨린다.
• ImageNet에서는 정령으로 인해 가장 열악한 10개 클래스의 평균 정확도가 약 3%p 감소하여 하위군 성능 저하가 심각하게 나타난다.
• AdaAlpha는 표준 정령 대비 CIFAR-100-LT에서 최악의 클래스 정확도를 3%p 이상 향상시키며, 평균 정확도는 유지하거나 略로 향상시킨다.
• AdaAlpha는 CIFAR-100-LT에서 평균 정확도 75.52%를 기록하여, 일반 정령 및 Zhou 등(2021)의 다른 베이스라인을 모두 초월한다.
• AdaMargin은 마진과 로그 손실 분포를 평탄하게 하여, 특히 다른 방법이 실패한 한 버킷에서 긍정적인 마진을 확보함으로써 尾 클래스의 신뢰도를 높인다.
• 제거 실험 결과, 정밀한 각 클래스별 가중치 조정이 필수적임을 입증하며, 무작위로 가중치를 섞거나 저빈도 클래스에서 정령 신호를 제거하는 경우가 제안된 방법보다 성능이 열 劣하다.