[논문 리뷰] Progressive Network Grafting for Few-Shot Knowledge Distillation

Chengchao Shen, Xinchao Wang외 4명|arXiv (Cornell University)|2020. 12. 09.

Advanced Neural Network Applications인용 수 9

한 줄 요약

이 논문은 소수의 레이블이 부여된 데이터로도 효율적인 지식 전달을 가능하게 하는 이중 단계의 점진적 네트워크 접합 방법을 제안한다. 여기서 학생 네트워크 블록들이 사전 훈련된 교사 네트워크에 점진적으로 접합되고, 함께 최적화되어 최소한의 레이블 데이터로도 효과적인 지식 전달을 달성한다. 이 방법은 CIFAR-10과 CIFAR-100에서 클래스당 1~10개의 샘플만으로도 전체 데이터셋 지식 전달 성능에 준하여 높은 성능을 달성한다.

ABSTRACT

Knowledge distillation has demonstrated encouraging performances in deep model compression. Most existing approaches, however, require massive labeled data to accomplish the knowledge transfer, making the model compression a cumbersome and costly process. In this paper, we investigate the practical few-shot knowledge distillation scenario, where we assume only a few samples without human annotations are available for each category. To this end, we introduce a principled dual-stage distillation scheme tailored for few-shot data. In the first step, we graft the student blocks one by one onto the teacher, and learn the parameters of the grafted block intertwined with those of the other teacher blocks. In the second step, the trained student blocks are progressively connected and then together grafted onto the teacher network, allowing the learned student blocks to adapt themselves to each other and eventually replace the teacher network. Experiments demonstrate that our approach, with only a few unlabeled samples, achieves gratifying results on CIFAR10, CIFAR100, and ILSVRC-2012. On CIFAR10 and CIFAR100, our performances are even on par with those of knowledge distillation schemes that utilize the full datasets. The source code is available at https://github.com/zju-vipa/NetGraft.

연구 동기 및 목표

• 지식 전달에서 데이터의 과도한 소비 문제를 해결하기 위해, 기존 방법들이 효과적인 학생 네트워크 훈련을 위해 대규모 레이블 데이터를 요구하는 문제를 해결한다.
• 네트워크 프리닝과 같은 취약한 사전/후처리 기법에 의존도를 줄이기 위한 강건하고 원칙적인 지식 전달 프레임워크를 개발한다.
• 클래스당 몇 개의 비라벨 데이터만으로도 교사 네트워크에서 학생 네트워크로 효과적인 지식 전달을 가능하게 한다.
• 블록 단위의 파라미터 최적화를 통해 저데이터 환경에서의 훈련 효율성을 향상시키고 과적합 위험을 줄인다.

제안 방법

• 이 방법은 두 단계로 구성된 점진적 접합 프로세스를 사용한다: 첫 번째 단계에서는 학생 블록들이 교사 네트워크의 대응 위치에 접합되고, 고정된 교사 가중치와 함께 공동 최적화된다.
• 두 번째 단계에서는 이미 훈련된 학생 블록들이 점진적으로 교사 네트워크에 연결되고 접합되어 상호 간에 적응하도록 한다.
• 두 단계 모두에서 학생 활성화값이 교사 네트워크의 활성화값과 일치하도록 하는 지식 전달 손실을 사용한다.
• 이 방법은 교사 네트워크의 잘 훈련된 파라미터를 활용하여 학생 네트워크의 효과적 파라미터 탐색 공간을 크게 줄인다.
• 학습자 블록들은 경량 모듈로 초기화되어 교사 아키텍처에 점진적으로 대체되며, 이로 인해 최소한의 데이터로도 효율적인 피니팅이 가능해진다.
• 이 방법은 부분 네트워크 접합을 지원하여, 더 큰 네트워크의 무거운 블록들을 더 가벼운 네트워크의 대체 블록으로 교체할 수 있다.

실험 결과

연구 질문

• RQ1 대규모 레이블 데이터셋에 의존하지 않고도 클래스당 몇 개의 비라벨 샘플만으로도 지식 전달을 효과적으로 수행할 수 있는가?
• RQ2 저데이터 환경에서 일반화 성능을 향상시키고 과적합을 줄이기 위해 학생 네트워크의 파라미터 탐색 공간을 어떻게 줄일 수 있는가?
• RQ3 교사 네트워크에 학생 블록을 점진적으로 접합하는 방식이 종단간 훈련 대비 훈련 효율성과 성능을 향상시킬 수 있는가?
• RQ4 블록 단위의 접합을 통해 훈련된 학생 네트워크가 전체 데이터셋 기반 지식 전달 성능에 얼마나 근접할 수 있는가?

주요 결과

• CIFAR-10과 CIFAR-100에서 제안된 방법은 클래스당 1개의 샘플만으로도 전체 데이터셋 기반 지식 전달 성능과 유사한 테스트 정확도를 달성한다.
• 클래스당 10개의 샘플을 사용할 경우, CIFAR-10에서는 93.4%의 상위-1 정확도를, CIFAR-100에서는 71.8%의 정확도를 달성하여 기준 방법과 동등하거나 이를 초월한다.
• 블록 단위의 접합 전략은 과적합을 줄이는 데 기여하며, 종단간 훈련 대비 훈련 정확도와 테스트 정확도 간 격차가 더 작다는 점에서 이를 뒷받침한다.
• ILSVRC-2012에서 ResNet34의 블록 3과 4를 ResNet18의 블록으로 교체함으로써 파라미터 수를 69.2% 감소시켰고, 클래스당 10개의 샘플로도 정확도 저하가 1.65%에 불과했다.
• 특히 저샷 설정에서 전체 학생 네트워크를 한 번에 훈련시키는 것보다 빠르게 수렴하고 더 우수한 일반화 성능을 보였다.
• 부분 네트워크 접합 전략은 높은 모델 압축 잠재력을 보이며, 성능 저하를 최소한으로 유지하면서 최대 69.2%까지 모델 크기를 줄일 수 있었다.