[논문 리뷰] Self-Knowledge Distillation with Progressive Refinement of Targets

Kyungyul Kim, Byeongmoon Ji외 2명|arXiv (Cornell University)|2020. 06. 22.

Advanced Neural Network Applications참고 문헌 50인용 수 16

한 줄 요약

이 논문은 일반화 성능을 향상시키기 위해 과거 모델 예측을 사용해 딱딱한 one-hot 레이블을 점진적으로 부드럽게 하는 정규화 방법인 프로그레시브 자기 지식 정련(PS-KD)을 제안한다. 모델의 이전 출력을 교사로 삼아 스스로 학습함으로써 PS-KD는 어려운 예제를 암묵적으로 탐지하고, 이미지 분류, 객체 검출, 기계 번역 등의 작업에서 정확도, 캘리브레이션, 순서형 랭킹을 향상시킨다.

ABSTRACT

The generalization capability of deep neural networks has been substantially improved by applying a wide spectrum of regularization methods, e.g., restricting function space, injecting randomness during training, augmenting data, etc. In this work, we propose a simple yet effective regularization method named progressive self-knowledge distillation (PS-KD), which progressively distills a model's own knowledge to soften hard targets (i.e., one-hot vectors) during training. Hence, it can be interpreted within a framework of knowledge distillation as a student becomes a teacher itself. Specifically, targets are adjusted adaptively by combining the ground-truth and past predictions from the model itself. We show that PS-KD provides an effect of hard example mining by rescaling gradients according to difficulty in classifying examples. The proposed method is applicable to any supervised learning tasks with hard targets and can be easily combined with existing regularization methods to further enhance the generalization performance. Furthermore, it is confirmed that PS-KD achieves not only better accuracy, but also provides high quality of confidence estimates in terms of calibration as well as ordinal ranking. Extensive experimental results on three different tasks, image classification, object detection, and machine translation, demonstrate that our method consistently improves the performance of the state-of-the-art baselines. The code is available at https://github.com/lgcnsai/PS-KD-Pytorch.

연구 동기 및 목표

• 딱딱한 one-hot 레이블로 훈련된 딥 네ural 네트워크의 과도한 자신감과 열악한 일반화 성능를 해결한다.
• 외부 데이터나 복잡한 아키텍처에 의존하지 않고 모델의 캘리브레이션과 강건성을 향상시킨다.
• 딱딱한 타겟을 가진 모든 지도 학습 작업에 적용 가능한 간단하고 즉시 사용 가능한 정규화 기법을 개발한다.
• 적응형 레이블 스무딩을 통해 더 나은 신뢰도 추정과 오분류 탐지 능력을 향상시킨다.
• 이미지 분류, 객체 검출, 기계 번역을 포함한 다양한 작업에서 일관된 성능 향상을 입증한다.

제안 방법

• 각 훈련 에포크에서, 이전 에포크의 모델 예측 결과를 부드러운 타겟(즉, 교사)으로 사용하여 현재 학생 모델을 안내한다.
• 부드러운 타겟은 진짜 one-hot 레이블과 과거 예측의 선형 조합으로 계산된다: $ y_{\text{soft}} = (1 - \alpha) \cdot y_{\text{hard}} + \alpha \cdot y_{\text{past}} $, 여기서 $ \alpha $ 는 감쇠된 계수이다.
• 모델의 자체 진화하는 지식을 통합함으로써 타겟을 점진적으로 정교화함으로써 적응형 레이블 스무딩을 가능하게 한다.
• 예측의 어려움에 따라 기울기 재스케일링이 이루어져 훈련 중에 어려운 예제를 암묵적으로 강조한다.
• 기존의 정규화 기법들(예: 레이블 스무딩, CutMix, 데이터 증강 등)과 호환된다.
• 최소한의 계산 오버헤드로 구현 가능하며, PyTorch 기반 훈련 파이프라인에 쉽게 통합할 수 있다.

실험 결과

연구 질문

• RQ1 모델의 과거 예측 결과를 효과적으로 사용하여 더 정보적인 부드러운 타겟을 생성함으로써 일반화 성능을 향상시킬 수 있는가?
• RQ2 기울기 재스케일링을 통해 프로그레시브 자기 지식 정련이 어려운 예제 탐지를 암묵적으로 수행하는가?
• RQ3 PS-KD는 이미지 분류, 객체 검출, 기계 번역과 같은 다양한 작업에서 예측 정확도와 신뢰도 캘리브레이션을 모두 향상시킬 수 있는가?
• RQ4 성능와 강건성 측면에서 PS-KD는 레이블 스무딩 및 기타 정련 방법과 비교해 어떻게 성과를 내는가?
• RQ5 PS-KD는 고급 데이터 증강 기법과 얼마나 잘 조합되어 모델의 일반화 성능을 추가로 향상시킬 수 있는가?

주요 결과

• CIFAR-100과 ImageNet에서 PS-KD는 표준 훈련 대비 최대 1.2% 향상된 top-1 정확도와 레이블 스무딩 대비 0.8% 향상된 성능를 기록했다.
• PASCAL VOC에서의 객체 검출 작업에서 PS-KD는 ResNet-152 기반 mAP를 78.26%에서 79.50%로 끌어올려 기준 대비 1.24% 상승시켰다.
• CutMix와 결합했을 때 PS-KD는 79.72%의 mAP를 기록하여 PS-KD 단독 및 LS를 포함한 모든 다른 방법을 능가했다.
• 기계 번역(IWSLT15 EN-DE) 작업에서 PS-KD는 BLEU 점수 30.0을 기록하여 기준 Transformer(28.5)와 LS(29.3)를 모두 초월했다.
• PS-KD는 신뢰도 캘리브레이션과 순서형 랭킹 성능 향상을 개선하여 더 나은 불확실성 추정과 오분류 탐지 능력을 보였다.
• 이러한 모든 작업에서 아키텍처 변경 없이도 최신 기술 수준의 모델을 일관되게 향상시켰다.