[논문 리뷰] Cascaded channel pruning using hierarchical self-distillation

Roy Miles, Krystian Mikolajczyk|arXiv (Cornell University)|2020. 08. 16.

Evolutionary Algorithms and Applications참고 문헌 32인용 수 7

한 줄 요약

이 논문은 계층적 자기-distillation을 사용한 캐스케이드 채널 프루닝을 제안한다. 여기서 공유된 가중치와 아키텍처를 가진 다수의 교사 모델(Teaching Assistants, TAs)이 순차적 프루닝을 통해 학생 모델을 이끈다. 더 높은 용량의 TAs로부터 유도된 서브티튜트 기반 기울기( surrogate gradients)를 활용함으로써, 강력한 정확도 유지와 모델 압축을 달성한다. ImageNet에서 ResNet50 기준으로 최대 3.6배의 파라미터 감소와 3.7배의 FLOP 감소를 이끌었으며, 기준 모델에 근접한 정확도를 유지한다.

ABSTRACT

In this paper, we propose an approach for filter-level pruning with hierarchical knowledge distillation based on the teacher, teaching-assistant, and student framework. Our method makes use of teaching assistants at intermediate pruning levels that share the same architecture and weights as the target student. We propose to prune each model independently using the gradient information from its corresponding teacher. By considering the relative sizes of each student-teacher pair, this formulation provides a natural trade-off between the capacity gap for knowledge distillation and the bias of the filter saliency updates. Our results show improvements in the attainable accuracy and model compression across the CIFAR10 and ImageNet classification tasks using the VGG16and ResNet50 architectures. We provide an extensive evaluation that demonstrates the benefits of using a varying number of teaching assistant models at different sizes.

연구 동기 및 목표

• 자원이 제한된 디바이스에서 고압축 모델 프루닝을 수행할 때 정확도 손실를 최소화하는 데 도전한다.
• 냉각 스케줄과 피니팅 사이클에 의존하는 반복적 프루닝 파이프라인의 한계를 극복한다.
• 프루닝 과정에서 지식 전달 시 용량 격차를 최소화하고 필터 중요도 업데이트의 편향을 줄인다.
• 사전 훈련된 중간 모델이 필요 없이, 압축된 모델의 확장성 있고 종단 간(end-to-end) 훈련을 가능하게 한다.
• CIFAR10과 ImageNet에서 VGG16과 ResNet50의 파라미터 및 FLOP 효율성을 향상시킨다.

제안 방법

• 각 학생 모델이 해당하는 교사 모델(TA)과 동일한 아키텍처와 가중치를 공유하는 학생-교사 쌍의 계층적 구조를 사용한다.
• 프루닝 마스크는 TAs에서 유도된 서브티튜트 기반 기울기( surrogate gradients)를 사용한 직통 추정기(straight-through estimator)를 통해 업데이트되며, TAs는 더 적게 프루닝되어 더 높은 용량을 가진다.
• 각 TA는 지식 전달뿐만 아니라 기울기 신호도 제공하여, 필터 중요도 평가의 편향을 줄인다.
• 프루닝 과정은 캐스케이드 방식으로 진행되며, 가장 큰 모델에서 시작하여 각 학생 모델이 해당 TA의 기울기를 사용해 독립적으로 프루닝된다.
• 계층 내 모든 모델는 공유된 합성곱 가중치, 배치 정규화 레이어를 공유하고, 독립적인 프루닝 마스크를 가진다.
• 반복적 피니팅을 피하기 위해 마스크와 가중치를 함께 최적화하며, 안정적인 수렴을 위해 적응형 최적화 기법(RMSProp 등)을 사용한다.

실험 결과

연구 질문

• RQ1 반복적 피니팅 없이도 계층적 자기-distillation 프레임워크가 채널 프루닝에서 정확도와 압축 성능을 향상시킬 수 있는가?
• RQ2 교사 모델의 수가 프루닝에서 용량 격차와 중요도 기울기 편향 간의 트레이드오프에 미치는 영향은 어떠한가?
• RQ3 교사 모델과 학생 모델 간의 가중치 공유가 메모리 효율성과 성능에 미치는 영향은 무엇인가?
• RQ4 캐스케이드 프루닝이 ImageNet과 같은 대규모 데이터셋에서 높은 압축 비율(예: 3.6배)을 달성하면서 정확도 저하를 최소화할 수 있는가?
• RQ5 FLOP 감소와 파라미터 효율성 측면에서 최신 필터 프루닝 기법과 비교해 본다면, 이 방법은 어떻게 성능을 내는가?

주요 결과

• CIFAR10에서 VGG16 기준으로 파라미터는 1.9배 감소하고 FLOPs는 2.3배 감소했으며, 기준 모델 대비 상위-1 정확도가 0.10% 향상되었다.
• ImageNet에서 ResNet50 기준으로 파라미터는 3.6배 감소하고 FLOPs는 3.7배 감소했으며, 상위-1 정확도는 오직 2.5% 감소했다.
• 두 개의 교사 모델을 사용함으로써 고프루닝 비율에서 성능 향상을 달성했으며, 이는 중간 용량 모델이 학생-교사 용량 격차를 줄이는 데 기여함을 보여준다.
• CIFAR10에서 VGG16 기준으로 약 15배의 압축 비율과 약 6배의 FLOP 감소를 달성했으며, 정확도 저하가 거의 없었다.
• 절단 분석(Ablation study)을 통해 교사 모델의 포함 여부가 고프루닝 비율에서 정확도 향상에 크게 기여함을 확인했으며, 이는 더 나은 기울기 안내 덕분이었다.
• SGD 대신 RMSProp를 사용함으로써 수렴 속도가 빨라지고, 레이어 간 프루닝의 균형이 좋아져 전체 성능이 향상되었다.