[논문 리뷰] FEED: Feature-level Ensemble for Knowledge Distillation

Seonguk Park, Nojun Kwak|arXiv (Cornell University)|2019. 09. 24.

Advanced Neural Network Applications참고 문헌 31인용 수 23

한 줄 요약

이 논문은 여러 개의 테이처 네트워크에서 단일 학생 네트워크로 특징맵 수준에서 지식 전이를 가능하게 하는 특징 수준 지식 정련 프레임워크인 FEED를 제안한다. 각 테이처의 특징맵에 대해 병렬 비선형 변환을 적용함으로써 FEED는 추론 시 추가 파rameter나 계산을 추가하지 않으면서도 학생의 일반화 성능을 향상시킨다. CIFAR-100과 ImageNet에서 최고 성능을 기록하였다.

ABSTRACT

Knowledge Distillation (KD) aims to transfer knowledge in a teacher-student framework, by providing the predictions of the teacher network to the student network in the training stage to help the student network generalize better. It can use either a teacher with high capacity or {an} ensemble of multiple teachers. However, the latter is not convenient when one wants to use feature-map-based distillation methods. For a solution, this paper proposes a versatile and powerful training algorithm named FEature-level Ensemble for knowledge Distillation (FEED), which aims to transfer the ensemble knowledge using multiple teacher networks. We introduce a couple of training algorithms that transfer ensemble knowledge to the student at the feature map level. Among the feature-map-based distillation methods, using several non-linear transformations in parallel for transferring the knowledge of the multiple teacher{s} helps the student find more generalized solutions. We name this method as parallel FEED, andexperimental results on CIFAR-100 and ImageNet show that our method has clear performance enhancements, without introducing any additional parameters or computations at test time. We also show the experimental results of sequentially feeding teacher's information to the student, hence the name sequential FEED, and discuss the lessons obtained. Additionally, the empirical results on measuring the reconstruction errors at the feature map give hints for the enhancements.

연구 동기 및 목표

• 기존의 특징맵 기반 정련 방법이 앙상블 테이처를 효과적으로 활용할 수 없는 한계를 해결하기 위해.
• 앙상블 지식을 특징맵 수준에서 전이할 수 있는 훈련 프레임워크를 개발하기 위해.
• 비선형 변환을 통해 다수의 테이처 특징맵 수준 지식을 주입함으로써 학생 네트워크의 일반화 성능을 향상시키기 위해.
• 재구성 손실을 진단 도구로 사용하여 특징 수준 앙상블 정련의 효과성에 대한 경험적 및 정성적 분석을 제공하기 위해.

제안 방법

• 다양한 테이처 네트워크의 특징맵에 대해 별도의 비선형 변환을 적용한 후 이를 집계하여 학생 훈련에 사용하는 병렬 FEED를 제안한다.
• 일관된 특징 수준 지식 전이를 가능하게 하기 위해 동일한 아키텍처를 가진 공유된 학생 네트워크 아키텍처와 다수의 테이처 네트워크를 사용한다.
• 학생을 후속 훈련 단계에서 테이처로 사용함으로써 지식을 순차적으로 전이하는 순차적 FEED를 도입한다.
• 특징맵의 재구성 손실을 측정하기 위해 파라프레이저 네트워크를 활용하여 지식 전이의 효과성에 대한 정성적 통찰을 제공한다.
• 자동에코더 기반 재구성 손실을 활용하여 학생이 앙상블 테이처로부터 복잡한 특징을 얼마나 잘 학습하는지 분석한다.
• 다양한 테이처의 특징맵으로부터 다각적이고 일반화된 표현을 추출하기 위해 병렬로 비선형 변환을 적용한다.

실험 결과

연구 질문

• RQ1 특징 수준 지식 정련이 다수의 테이처 네트워크에서 앙상블 지식을 효과적으로 활용할 수 있는가?
• RQ2 일반화 성능 측면에서 특징맵 기반 정련과 레이블 기반 정련 간의 비교는 어떠한가?
• RQ3 다수의 테이처 환경에서 비선형 변환의 영향은 특징맵 지식 전이에 어떤가?
• RQ4 파라프레이저 네트워크의 재구성 오차는 학생 모델의 정확도 향상과 어떻게 관련이 있는가?
• RQ5 특징 수준 앙상블 정련이 레이블 기반 정련을 초월하는 조건은 무엇인가?

주요 결과

• 병렬 FEED는 추론 시 추가 파rameter나 계산을 도입하지 않으면서도 CIFAR-100과 ImageNet에서 최고 성능을 기록하였다.
• 파라프레이저 네트워크의 재구성 손실은 지식 전이가 향상될수록 감소하며, 이는 학생이 앙상블에서 더 복잡하고 세부적인 특징을 더 잘 학습하고 있음을 시사한다.
• 순차적 FEED는 KD와 BAN과 같은 기준 방법보다 큰 용량의 고성능 네트워크에서 더 높은 성능을 보이며, 세부적인 특징 수준 지식이 복잡한 모델에 더 유익함을 시사한다.
• KD와 pFEED의 재구성 손실 곡선에서 성능 추세가 반대이므로, 레이블 기반 정련은 추상적 지식을 전이하는 반면, pFEED는 더 구체적이고 세부적인 특징 지식을 전이함을 나타낸다.
• 용량이 큰 네트워크에서는 다수의 테이처를 사용하는 특징맵 기반 정련(pFEED)이 레이블 기반 방법을 능가하며, 이는 세부적인 특징 지식이 일반화 성능을 향상시킨다는 것을 확인한다.
• 결과적으로 특징 수준 앙상블 정련은 추상적 레이블 기반 지식이 최적 성능을 내기에는 부족한 대용량 모델에 특히 효과적임을 보여준다.