[논문 리뷰] Knowledge Distillation as Efficient Pre-training: Faster Convergence, Higher Data-efficiency, and Better Transferability

Ruifei He, Shuyang Sun외 3명|arXiv (Cornell University)|2022. 03. 10.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 특징 표현을 비모수적 특징 차원 정렬(SVD)과 파wr 온도 스케일링(PTS)을 통해 사전 훈련된 교사 모델에서 학생 모델로 전이하는 지식 증류(Knowledge Distillation)를 활용한 효율적 사전 훈련(KDEP) 방법을 제안한다. KDEP는 10배 적은 데이터와 5배 적은 훈련 시간으로 감독 사전 훈련 수준의 전이 성능를 달성하여 더 빠르고 데이터 효율적이며 더 높은 전이 가능성을 가진 모델 사전 훈련을 가능하게 한다.

ABSTRACT

Large-scale pre-training has been proven to be crucial for various computer vision tasks. However, with the increase of pre-training data amount, model architecture amount, and the private/inaccessible data, it is not very efficient or possible to pre-train all the model architectures on large-scale datasets. In this work, we investigate an alternative strategy for pre-training, namely Knowledge Distillation as Efficient Pre-training (KDEP), aiming to efficiently transfer the learned feature representation from existing pre-trained models to new student models for future downstream tasks. We observe that existing Knowledge Distillation (KD) methods are unsuitable towards pre-training since they normally distill the logits that are going to be discarded when transferred to downstream tasks. To resolve this problem, we propose a feature-based KD method with non-parametric feature dimension aligning. Notably, our method performs comparably with supervised pre-training counterparts in 3 downstream tasks and 9 downstream datasets requiring 10x less data and 5x less pre-training time. Code is available at https://github.com/CVMI-Lab/KDEP.

연구 동기 및 목표

• 대규모 또는 비공개 데이터셋에서 모든 모델 아키텍처에 대한 사전 훈련의 비효율성과 비가능성을 해결하기 위해.
• 사전 훈련된 교사 모델에 압축된 지식이 새로운 학생 모델로 효율적으로 전이될 수 있는지 조사하기 위해.
• 기존 증류 방법이 작업별 헤드나 가속기 모듈을 통해 간접적으로 특징 학습을 감독하는 데서 비롯하는 한계를 극복하기 위해.
• 교사 모델의 표현 품질을 유지하면서도 파rameter-free인 비모수적 특징 차원 정렬 방법을 개발하기 위해.
• 사전 훈련 시 더 빠른 수렴, 더 높은 데이터 효율성, 더 나은 전이 가능성을 확보하기 위해.

제안 방법

• 교사 모델의 전처리층 특징을 직접 활용하여 학생 모델의 특징 추출기를 감독하는 특징 기반 지식 증류 방법을 제안한다.
• 최소한의 정보 손실로 교사 및 학생 모델 간의 특징 차원을 비모수적으로 정렬하기 위해 특이값 분해(SVD)를 활용한다.
• SVD 처리된 특징에서 채널 분산 격차를 줄이기 위해 파워 온도 스케일링(PTS)을 도입하여 최적화 안정성을 향상시킨다.
• 정렬 모듈에 학습 가능한 파rameter를 사용하지 않아 증류 과정에서 추가 파rameter나 기울기가 발생하지 않도록 한다.
• 로그릿이 아닌 교사의 특징 표현만을 감독으로 사용하여 표현 학습에 일반화 가능한 방법이다.
• 소규모이고 다양한 데이터셋에서 사전 훈련 중 증류를 적용하여 효율적인 학생 모델 초기화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 지식 증류가 교사 모델에서 학생 모델로 표현을 전이하는 사전 훈련 전략으로 효과적으로 재사용될 수 있는가?
• RQ2 기존의 KD 방법이 왜 사전 훈련 환경에서 실패하는가, 특히 로짓을 증류하거나 파rametric 어댑터를 사용할 경우에?
• RQ3 SVD와 PTS를 통한 비모수적 특징 정렬이 사전 훈련을 위한 특징 증류에서 1×1 컨벌루션과 같은 파rametric 방법을 능가할 수 있는가?
• RQ4 KDEP는 전이 성능를 유지하면서 데이터 요구량과 훈련 시간 요구량을 얼마나 줄일 수 있는가?
• RQ5 비라벨 데이터의 선택(예: 개체 수준 vs. 장면 수준)이 KDEP 성능에 어떤 영향을 미치는가?

주요 결과

• KDEP는 10%의 데이터와 4.0시간의 훈련 시간으로 ImageNet-1K에서 74.79%의 Top-1 정확도를 달성하여 감독 사전 훈련과 동일한 성능를 10배 적은 데이터와 5배 적은 시간으로 달성한다.
• ImageNet-1K의 10% 데이터로 KDEP(SVD+PTS)는 75.74%의 정확도를 기록했으며, 동일한 데이터 및 시간 제약 조건에서 감독 사전 훈련(71.05%)을 초월한다.
• 100% ImageNet-1K 데이터로 KDEP는 78.40%의 정확도를 달성했으며, 감독 사전 훈련(77.13%)을 초월했고 일부 설정에서는 더 큰 교사 모델보다도 뛰어난 성능를 보였다.
• 더 강력한 교사 모델(MS R50)을 사용할 경우, KDEP는 10% 데이터와 180 에포크로 77.07%의 정확도를 기록했으며, 감독 사전 훈련과 전통적 KD를 모두 초월했다.
• ImageNet-1K는 높은 데이터 다양성과 개체 중심 콘텐츠로 인해 KDEP에서 가장 우수한 성능를 보였고, 텍스처 전용 데이터셋(DTD)는 낮은 다양성으로 인해 가장 열 劣한 결과를 보였다.
• 메서드는 거의 무시할 수 있는 계산 오버헤드를 가지며, 훈련 시간과 GPU 메모리 사용량이 감독 사전 훈련과 거의 동일하다.