[논문 리뷰] Search for Better Students to Learn Distilled Knowledge

Jindong Gu, Volker Tresp|arXiv (Cornell University)|2020. 01. 30.

Educational Assessment and Pedagogy참고 문헌 33인용 수 13

한 줄 요약

이 논문은 L1-regularized 하위기울기(subgradients)를 사용해 교사의 구조를 정렬함으로써 지식 정련을 위한 최적의 학생 네트워크를 자동으로 탐색하는 신경망 아키텍처 탐색 방법을 제안한다. 이 방법은 학생과 교사의 출력 간 KL 발산을 최소화하는 희박한 하위그래프(subgraphs)를 선택하여, 수동으로 설계된 또는 최신 기술(SOTA) 학생 아키텍처보다 더 우수한 일반화 성능을 달성한다. CIFAR-10과 CIFAR-100에서 검증되었다.

ABSTRACT

Knowledge Distillation, as a model compression technique, has received great attention. The knowledge of a well-performed teacher is distilled to a student with a small architecture. The architecture of the small student is often chosen to be similar to their teacher's, with fewer layers or fewer channels, or both. However, even with the same number of FLOPs or parameters, the students with different architecture can achieve different generalization ability. The configuration of a student architecture requires intensive network architecture engineering. In this work, instead of designing a good student architecture manually, we propose to search for the optimal student automatically. Based on L1-norm optimization, a subgraph from the teacher network topology graph is selected as a student, the goal of which is to minimize the KL-divergence between student's and teacher's outputs. We verify the proposal on CIFAR10 and CIFAR100 datasets. The empirical experiments show that the learned student architecture achieves better performance than ones specified manually. We also visualize and understand the architecture of the found student.

연구 동기 및 목표

• 지식 정련에서 수동으로 설계된 학생 아키텍처의 비효율성과 최적화되지 않은 성능을 해결하기 위해.
• 더 나은 학생 성능을 위해 정렬과 정련을 동시에 최적화하는 자동화된 방법을 개발하기 위해.
• 기존의 크기 축소 기반 접근 방식보다 더 효과적으로 정련된 지식을 학습할 수 있는 학생 아키텍처를 식별하기 위해.
• 탐색 과정이 단순한 모델 압축을 넘어서 유용한 인도적 편향(inductive biases)을 인코딩하는지 탐색하기 위해.

제안 방법

• 각 채널을 노드로, 연결 관계를 간선으로 하는 교사의 구조 그래프 상에서 학생 아키텍처 탐색 문제를 하위그래프 선택 문제로 재구성한다.
• 교사 그래프의 각 노드에 대해 학습 가능한 게이트 변수(gate variables, 스케일링 인자)를 도입하고, L1-노름을 통해 희박성(sparsity)을 유도한다.
• 학생과 교사의 출력 간 KL 발산을 최소화하는 L1-regularized 손실 함수에 대해 프록시미멀 기울기 하강(Proximal gradient descent)을 사용해 아키텍처를 최적화한다.
• KL 발산, 가중치 감소(L2), 게이트 변수에 대한 L1 정규화를 포함하는 복합 손실 함수를 정의하여 성능와 희박성 간 균형을 맞춘다.
• L1 정규화 강도(λ₂)를 조절하여 학생의 최종 FLOPs를 제어하며, 이는 목표 모델 크기로의 수렴 속도를 조절한다.
• 게이트 값과 채널 제거 비율을 매핑하여 찾은 학생 아키텍처를 시각화함으로써, 정렬된 네트워크 내의 구조적 패턴을 드러낸다.

실험 결과

연구 질문

• RQ1 자동 아키텍처 탐색 과정이 지식 정련에서 수동으로 아키텍처를 축소한 것(예: 층 수나 채널 수 감소)보다 더 나은 학생 네트워크를 찾을 수 있는가?
• RQ2 정렬과 정련을 동시에 최적화하는 것이 순차적 정렬 후 정련보다 더 나은 학생 성능을 낼 수 있는가?
• RQ3 L1-regularized 하위그래프 선택 전략은 학생 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ4 찾은 학생 아키텍처에 나타나는 구조적 특성들은 깊은 네트워크 설계의 알려진 원칙과 일치하는가?
• RQ5 정련 없이도 찾은 학생 아키텍처가 잘 작동한다면, 이는 교사로부터 내재된 지식을 암묵적으로 학습했음을 시사하는가?

주요 결과

• 제안된 방법은 CIFAR-10과 CIFAR-100에서 동일한 FLOPs를 가진 수동 설계 학생 아키텍처보다 더 높은 테스트 정확도를 달성한다.
• 손실 함수 내 KL 발산과 최종 테스트 오차 사이에 강한 상관관계(0.8896)가 존재하여, 손실 함수가 '좋은' 학생 아키텍처를 효과적으로 정의하고 있음을 검증한다.
• 더 긴 탐색 기간(더 작은 λ₂)을 거친 학생은 더 낮은 테스트 오차를 기록하며, 이는 연장된 최적화가 아키텍처 품질을 향상시킨다는 것을 시사한다.
• 찾은 학생 아키텍처는 깊은 층에서 대부분의 채널을 유지하며, 후행 층이 더 높은 표현 능력을 필요로 한다는 원칙과 일치한다.
• 스킵 연결을 통한 특징 재사용이 찾은 아키텍처에 유지되며, 이는 DenseNets에서 이러한 연결이 덜 중요하다는 주장과 모순된다.
• 정련 없이도 학생 모델이 출발 단계에서 잘 작동함을 확인하여, 탐색 과정이 교사로부터 유용한 인도적 편향을 암묵적으로 학습했음을 시사한다.