[논문 리뷰] Few Sample Knowledge Distillation for Efficient Network Compression

Tian-Hong Li, Jianguo Li외 2명|arXiv (Cornell University)|2018. 12. 05.

Advanced Neural Network Applications참고 문헌 39인용 수 16

한 줄 요약

이 논문은 레이블이 없고 데이터 효율적인 방법인 소수 샘플 지식 정복(Few-Sample Knowledge Distillation, FSKD)을 제안한다. 이는 훈련 데이터의 1%만을 사용하여 깊이 신경망을 압축한다. 레이어 출력에서 학습 가능한 1×1 컨볼루션 레이어를 추가하고 최적화하여 학생 및 교사 모델의 특징을 최소 제곱 회귀를 통해 정렬함으로써, FSKD는 추가적인 추론 비용 없이 몇 분 내로 미세조정 수준의 정확도를 복원한다. 이는 기존의 지식 정복 및 미세조정 방법보다 저자료 환경에서 뛰어난 성능을 보인다.

ABSTRACT

Deep neural network compression techniques such as pruning and weight tensor decomposition usually require fine-tuning to recover the prediction accuracy when the compression ratio is high. However, conventional fine-tuning suffers from the requirement of a large training set and the time-consuming training procedure. This paper proposes a novel solution for knowledge distillation from label-free few samples to realize both data efficiency and training/processing efficiency. We treat the original network as "teacher-net" and the compressed network as "student-net". A 1x1 convolution layer is added at the end of each layer block of the student-net, and we fit the block-level outputs of the student-net to the teacher-net by estimating the parameters of the added layers. We prove that the added layer can be merged without adding extra parameters and computation cost during inference. Experiments on multiple datasets and network architectures verify the method's effectiveness on student-nets obtained by various network pruning and weight decomposition methods. Our method can recover student-net's accuracy to the same level as conventional fine-tuning methods in minutes while using only 1% label-free data of the full training data.

연구 동기 및 목표

• 레이블이 부족하거나 가용하지 않은 고압축, 저자료 환경에서 기존의 미세조정 기법의 비효율성을 해결한다.
• 큰 레이블 데이터셋이 필요 없이 압축된 또는 분해된 학생 네트워크의 정확도를 효율적으로 복원할 수 있도록 한다.
• 학습 효율성과 추론 효율성을 모두 확보하여 계산 및 데이터 오버헤드를 최소화하는 방법을 개발한다.
• 다양한 네트워크 아키텍처와 압축 기법(예: 프루닝, 분해)에 적용 가능한지를 입증한다.
• 레이블이 없는 데이터만 공유할 수 있는 온디바이스 또는 프라이버시 보존 모델 압축 환경을 지원한다.

제안 방법

• 기존의 프루닝 또는 가중치 분해 기법을 사용하여 교사 네트워크를 학생 네트워크로 압축하면서 블록 수준의 특징맵 차원을 일치시킨다.
• 학습된 학생 네트워크의 각 블록 끝에 학습 가능한 1×1 컨볼루션 레이어를 추가하여, 학생의 블록 출력을 교사의 출력과 정렬한다.
• 레이블이 없는 소량의 데이터를 사용하여 최소 제곱 회귀를 통해 추가된 1×1 컨볼루션 레이어의 파라미터를 최적화함으로써 전체 학생 네트워크에 대한 역전파를 피한다.
• 추가된 1×1 컨볼루션 레이어가 추론 시에 파라미터 수나 FLOPs를 증가시키지 않고 이전 컨볼루션 레이어에 통합될 수 있음을 증명한다.
• 블록 기반 좌표 강하(BCD)를 사용하여 1×1 컨볼루션 가중치를 최적화함으로써 표준 SGD 기반 정복보다 더 적은 샘플로 더 빠른 수렴을 달성한다.
• 자동으로 압축된 학생 네트워크(프루닝/분해를 통해)와 무작위 초기화된 수동 설계된 네트워크 양쪽에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 지식 정복이 레이블 없이 전체 훈련 데이터의 1%만을 사용하여도 압축된 네트워크에서 정확도를 복원할 수 있는가?
• RQ2 제안된 방법이 훨씬 더 빠르고 데이터 효율적이면서도 전체 미세조정 성능과 유사한 성능을 달성하는가?
• RQ3 이 방법이 다양한 네트워크 아키텍처와 압축 기법(예: 프루닝, 분해)에 일반적으로 적용 가능한가?
• RQ4 저자료 환경에서 기존의 지식 정복 방법(FitNet 등)과 비교해 FSKD는 어떤가?
• RQ5 소수의 샘플이 훈련 데이터와 다른 클래스 분포를 가질 경우에도 FSKD는 효과적으로 작동하는가?

주요 결과

• FSKD는 레이블이 없는 상태에서 전체 훈련 데이터의 1%만을 사용하여 학생 네트워크의 정확도를 기존의 미세조정 수준까지 복원한다.
• CIFAR-10 및 CIFAR-100에서, FSKD는 소수의 샘플이 다른 클래스 분포를 가질 경우에도 정확도 복원 성능이 유사하게 유지되어, 레이블 없는 일반화 능력을 입증한다.
• 무작위 초기화된 수동 설계된 학생 네트워크의 경우, FSKD는 SGD, [21], [27], 그리고 FitNet을 모두 능가하여 MNIST에서 200개의 샘플로 97.8%의 정확도를 달성한다—FitNet의 96.5%를 초월한다.
• 추가된 1×1 컨볼루션 레이어의 파라미터 수가 적고 BCD 최적화를 통해 빠른 수렴이 이루어지므로, 표준 SGD 기반 정복보다 더 빠르고 정확하게 수렴한다.
• 추가된 1×1 컨볼루션 레이어를 이전 레이어에 통합함으로써 추론 효율성을 유지하여 런타임 오버헤드 없이 작동한다.
• 여러 데이터셋(CIFAR-10, CIFAR-100, MNIST)과 네트워크 아키텍처에서의 성능을 통해 광범위한 적용 가능성을 입증한다.