[논문 리뷰] Knowledge Distillation from Few Samples

Tianhong Li, Jianguo Li외 2명|arXiv (Cornell University)|2018. 09. 27.

Advanced Neural Network Applications인용 수 11

한 줄 요약

이 논문은 소수의 훈련 샘플만을 사용하여 교사에서 학생 네트워크로 지식을 효율적으로 전달할 수 있는 새로운 지식 정련 방법을 제안한다. 학생 네트워크의 각 블록에 가속 가능한 1x1 합성곱 레이어를 추가하고, 제한된 데이터로 이를 최적화함으로써 교사와 학생의 특징 맵을 정렬한다. 이는 계산 비용을 증가시키지 않고 기존 레이어에 통합될 수 있으며, 최소한의 데이터로도 뛰어난 성능을 달성할 수 있다.

ABSTRACT

Current knowledge distillation methods require full training data to distill knowledge from a large teacher network to a compact student network by matching certain statistics between teacher and student such as softmax outputs and feature responses. This is not only time-consuming but also inconsistent with human cognition in which children can learn knowledge from adults with few examples. This paper proposes a novel and simple method for knowledge distillation from few samples. Taking the assumption that both teacher and student have the same feature map sizes at each corresponding block, we add a 1x1 conv-layer at the end of each block in the student-net, and align the block-level outputs between teacher and student by estimating the parameters of the added layer with limited samples. We prove that the added layer can be absorbed/merged into the previous conv-layer to formulate a new conv-layer with the same size of parameters and computation cost as the previous one. Experiments verify that the proposed method is very efficient and effective to distill knowledge from teacher-net to student-net constructing in different ways on various datasets.

연구 동기 및 목표

• 완전한 훈련 데이터가 필요로 하는 기존 지식 정련 방법의 비효율성을 해결하기 위해.
• 완전한 데이터셋 대신 소수의 훈련 샘플만으로도 교사에서 학생 네트워크로의 지식 전달을 가능하게 하여 인간과 유사한 소수 학습을 모방하기 위해.
• 정련 후 원래 학생 네트워크와 동일한 모델 크기와 계산 비용을 유지하는 방법을 개발하기 위해.
• 추가된 1x1 레이어가 파rameter 수나 FLOPs를 증가시키지 않고도 기존 합성곱 레이어에 통합될 수 있음을 수학적으로 증명하기 위해.
• 최소한의 데이터로 다양한 아키텍처와 데이터셋에서 방법의 유효성을 검증하기 위해.

제안 방법

• 학습자 네트워크의 각 블록 끝에 1x1 합성곱 레이어를 도입하여, 해당 블록의 교사 네트워크와 특징 맵을 정렬하기 위해.
• 훈련 세트에서 소수의 레이블이 부여된 샘플을 사용하여 이러한 1x1 레이어의 파라미터를 최적화하기 위해.
• 각 블록에서 교사 네트워크와 학생 네트워크의 출력 특징 맵 간의 차이를 최소화하는 손실 함수를 사용하기 위해.
• 추가된 1x1 레이어가 이전 합성곱 레이어에 흡수될 수 있음을 수학적으로 증명하기 위해, 모델 크기와 계산 비용을 유지함을 보장하기 위해.
• 추가된 1x1 레이어를 포함한 총괄적인 학생 네트워크를 엔드 투 엔드로 훈련한 후, 추론을 위해 이들을 이전 레이어에 통합하기 위해.
• 정련 과정이 원래 학생 네트워크와 동일한 파라미터 수와 FLOPs를 유지함을 보장하기 위해.

실험 결과

연구 질문

• RQ1 완전한 데이터셋 대신 소수의 훈련 샘플만으로도 지식 정련을 효과적으로 수행할 수 있는가?
• RQ2 제한된 데이터로 교사와 학생 네트워크 간의 특징 맵 정렬을 어떻게 효율적으로 달성할 수 있는가?
• RQ3 기존 학생 네트워크 레이어에 1x1 합성곱 레이어를 추가하고 나중에 통합함으로써 모델 복잡도를 증가시키지 않고도 가능한가?
• RQ4 제안된 방법이 최소한의 데이터로 다양한 네트워크 아키텍처와 데이터셋에 대해 일반화 가능한가?
• RQ5 정련 과정이 높은 정확도를 달성하면서도 모델 효율성을 유지할 수 있는가?

주요 결과

• 소수의 훈련 샘플만으로도 강력한 지식 정련 성능을 달성하여 데이터 의존도를 크게 감소시켰다.
• 추가된 1x1 합성곱 레이어는 수학적으로 이전 합성곱 레이어에 통합될 수 있으며, 원래 모델의 파라미터 수와 FLOPs를 그대로 유지한다.
• 다양한 학생 및 교사 네트워크 아키텍처와 여러 데이터셋에서 이 방법이 효과적으로 작동함을 실험적으로 입증했다.
• 실험 결과, 제한된 데이터로도 정련 과정이 학생 네트워크의 정확도 향상에 기여하는 것으로 나타났다.
• 이 방법은 효율적이고 저자원 기반의 지식 전달을 가능하게 하여 인간과 유사한 소수 학습에 더 부합하는 방식을 제공한다.