[논문 리뷰] Quantifying the Knowledge in a DNN to Explain Knowledge Distillation for Classification

Quanshi Zhang, Xu Cheng외 2명|arXiv (Cornell University)|2022. 08. 18.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 지식 증류(KD)가 초기 학습보다 성능을 높이는 이유를 설명하기 위해 정보 이론적 프레임워크를 도입하여 지식 포인트—DNN 레이어 간에 유지되는 분류에 기여하는 입력 유닛—를 정량화한다. 이미지, NLP 및 3D 포인트 클러스터 분류 작업 전반에 걸쳐, 지식 증류는 더 많은 고품질의 과업 관련 지식 포인트를 인코딩하고, 이를 동시에 학습하며, 더 안정적인 최적화 경로를 제공함으로써 DNN이 더 효과적으로 학습할 수 있음을 입증한다.

ABSTRACT

Compared to traditional learning from scratch, knowledge distillation sometimes makes the DNN achieve superior performance. This paper provides a new perspective to explain the success of knowledge distillation, i.e., quantifying knowledge points encoded in intermediate layers of a DNN for classification, based on the information theory. To this end, we consider the signal processing in a DNN as the layer-wise information discarding. A knowledge point is referred to as an input unit, whose information is much less discarded than other input units. Thus, we propose three hypotheses for knowledge distillation based on the quantification of knowledge points. 1. The DNN learning from knowledge distillation encodes more knowledge points than the DNN learning from scratch. 2. Knowledge distillation makes the DNN more likely to learn different knowledge points simultaneously. In comparison, the DNN learning from scratch tends to encode various knowledge points sequentially. 3. The DNN learning from knowledge distillation is often optimized more stably than the DNN learning from scratch. In order to verify the above hypotheses, we design three types of metrics with annotations of foreground objects to analyze feature representations of the DNN, extit{i.e.} the quantity and the quality of knowledge points, the learning speed of different knowledge points, and the stability of optimization directions. In experiments, we diagnosed various DNNs for different classification tasks, i.e., image classification, 3D point cloud classification, binary sentiment classification, and question answering, which verified above hypotheses.

연구 동기 및 목표

• 정규화나 레이블 스무딩을 넘어서 지식 증류의 성공을 설명하기 위해 중간 레이어 표현을 분석한다.
• 학습 과정에서 지식이 어떻게 인코딩되고 유지되는지에 대한 정량적 이해의 부족을 해결한다.
• 정보 이론을 기반으로 한 새로운 이론적 시각—지식 포인트 정량화—를 제안하여 표현 학습 동역학을 분석한다.
• 지식 증류가 초깃값 학습 대비 지식 인코딩 효율성, 동시 학습성, 최적화 안정성을 향상시킨다는 것을 검증한다.

제안 방법

• 지식 포인트를 DNN의 순방향 전파 과정에서 다른 것들보다 정보 손실 비율이 낮은 입력 유닛(예: 픽셀, 단어 임베딩)으로 정의한다.
• 세 가지 지표를 제안한다: (1) 지식 포인트 수와 품질(배경/전경 주석을 통한), (2) $D_{\textrm{mean}}$ 및 $D_{\textrm{std}}$ 를 통한 동시 학습성 측정, (3) 방향 일관성 측정을 위한 $\rho$ 를 통한 최적화 안정성 측정.
• 정보 이론 기반 신호 처리 기법을 활용해 DNN을 계층별 정보 손실 시스템으로 모델링하고, 유지되는 입력 유닛을 지식 포인트로 식별한다.
• 이국적인 작업들—이미지 분류(CUB200-2011, Tiny ImageNet), 3D 포인트 클러스터(ModelNet40), NLP(SST-2, QNLI)—에서 DNN의 중간 특징에 지표를 적용한다.
• 동일한 지표를 사용해 지식 증류를 통해 학습한 학생 네트워크와 초깃값 학습 기반 네트워크를 비교한다.
• 전경 주석을 활용해 과업 관련 지식 포인트 비율을 계산하여 표현의 품질을 평가한다.

실험 결과

연구 질문

• RQ1 지식 증류는 초깃값 학습 대비 더 많은 유지되는 분류에 기여하는 지식 포인트를 제공하는가?
• RQ2 지식 증류는 지식 포인트를 순차적으로가 아니라 동시에 학습시킬 수 있는가?
• RQ3 지식 증류는 초깃값 학습 대비 더 안정적인 최적화 경로를 제공하는가?
• RQ4 지식 포인트 정량화는 시각, NLP 및 3D 학습을 포함한 다양한 분류 작업에서의 성능 향상을 설명할 수 있는가?

주요 결과

• 지식 증류는 더 많은 유지되는 지식 포인트를 제공한다: 예를 들어, VGG-16가 VGG-19에서 증류한 결과 CUB200-2011에서 19.88개의 지식 포인트를 기록했고, 초깃값 학습 대비 15.29개보다 높았다.
• 과업 관련 지식 포인트 비율은 분류 정확도와 정적 상관관계가 있다: 전경 지식 포인트 비율이 높은 DNN일수록 성능이 뛰어나며, 예를 들어 VGG-19 기준으로 지식 증류는 0.71, 초깃값 학습은 0.65를 기록했다.
• 지식 증류는 지식 포인트의 동시 학습을 가능하게 한다: VGG-16 기준 학생 네트워크는 $D_{\textrm{mean}}$ (0.85)와 $D_{\textrm{std}}$ (0.93) 값이 낮아, 기준 대비 더 균형 잡힌 학습을 보였다(기준: 3.46 및 40.31).
• 지식 증류는 최적화 안정성을 향상시킨다: 학생 네트워크는 기준 대비 더 높은 $\rho$ 값(예: 0.32 대비 0.27)을 기록하여 최적화 경로의 이탈이 적음을 시사한다.
• 피팅 테이닝 역시 지식 포인트 동역학의 이점을 누리며, 피팅 테이닝된 VGG-16는 초깃값 학습 대비 더 빠르게 새로운 전경 지식 포인트를 학습하고 일시적인 정보 손실도 적게 경험했다.
• 얕은 네트워크(예: AlexNet, VGG-11)와 고도로 분류에 민감한 모델(예: PointNet++)에서는 실패 사례가 발생했으며, 이 경우 지식 포인트 동역학의 특징이 뚜렷하지 않았다.