[논문 리뷰] Towards Oracle Knowledge Distillation with Neural Architecture Search

Minsoo Kang, Jonghwan Mun외 1명|arXiv (Cornell University)|2019. 11. 29.

Advanced Neural Network Applications참고 문헌 39인용 수 5

한 줄 요약

이 논문은 신경망 아키텍처 탐색(NAS)과 오라클 지식 정련(OD)을 결합한 새로운 지식 정련 프레임워크를 제안한다. 이는 앙상블 교사 네트워크로부터 고정밀도, 고효율성의 학생 모델을 훈련시키는 데 목적이 있다. 최적의 학생 아키텍처를 탐색하고, 앙상블의 최고 예측을 모방하는 오라클 손실을 사용함으로써 모델 용량 격차를 줄이고, 정확도와 메모리 효율성 측면에서 교사 모델 및 표준 정련 기준선을 초월하는 학생 모델 성능을 달성한다.

ABSTRACT

We present a novel framework of knowledge distillation that is capable of learning powerful and efficient student models from ensemble teacher networks. Our approach addresses the inherent model capacity issue between teacher and student and aims to maximize benefit from teacher models during distillation by reducing their capacity gap. Specifically, we employ a neural architecture search technique to augment useful structures and operations, where the searched network is appropriate for knowledge distillation towards student models and free from sacrificing its performance by fixing the network capacity. We also introduce an oracle knowledge distillation loss to facilitate model search and distillation using an ensemble-based teacher model, where a student network is learned to imitate oracle performance of the teacher. We perform extensive experiments on the image classification datasets---CIFAR-100 and TinyImageNet---using various networks. We also show that searching for a new student model is effective in both accuracy and memory size and that the searched models often outperform their teacher models thanks to neural architecture search with oracle knowledge distillation.

연구 동기 및 목표

• 모델 용량 불일치로 인해 지속적으로 발생하는 지식 정련에서 학생 모델과 교사 모델 간의 성능 격차를 해소하기 위해.
• 앙성 교사 모델에서의 지식 정련을 향상시키기 위해, 학생 모델이 최적의 교사 예측 조합(오라클 성능)을 학습할 수 있도록 하기 위해.
• 사전에 학생 아키텍처를 고정하는 대신, 정련에 최적화된 고성능이며 소형의 학생 아키텍처를 탐색하는 기반 기반 방법을 개발하기 위해.
• 아키텍처 탐색과 오라클 정련의 조합이 학생 모델이 표준 정련 기준선과 교사 앙상블을 모두 초월하는 정확도와 효율성에서 뛰어난 성능을 내는지 입증하기 위해.

제안 방법

• 각 입력에 대해 모든 교사 모델 중에서 가장 성능이 좋은 예측을 모방하도록 하는 오라클 지식 정련(OD) 손실을 도입하여, 모델 평균화가 아닌 최적의 예측을 모방하도록 학습한다.
• 기본 학생 모델에서 시작하여 최대 4배 크기까지 확장 가능한 적응형 용량을 가진 최적의 학생 네트워크 아키텍처를 탐색하기 위해 신경망 아키텍처 탐색(NAS)을 활용한다.
• 작업과 스킵 연결을 포함하는 가속화 가능한 검색 공간을 사용하여 아키텍처와 가중치를 동시에 최적화할 수 있도록 한다.
• 앙성 교사의 오라클 성능을 가장 잘 모방할 수 있는 아키텍처를 찾기 위해, NAS 동안 OD 손실을 적용하여 탐색을 이끌어낸다.
• 메모리 제약 조건 하에서 검색을 수행하며, 검색 공간은 표준 CNN과 호환되며 이미지 분류에 효율적인 방식으로 설계되어 있다.
• 최종 학생 모델은 탐색된 아키텍처와 OD 손실을 사용하여 훈련하여 뛰어난 정확도와 파rameter 효율성을 달성한다.

실험 결과

연구 질문

• RQ1 신경망 아키텍처 탐색은 고정된 아키텍처를 가진 학생 모델보다 뛰어난 성능을 내는 학생 모델을 식별할 수 있는가?
• RQ2 각 예측에 대해 가장 성능이 좋은 교사 예측을 모방하는 오라클 지식 정련은 표준 정련보다 더 높은 학생 정확도를 이끌어낼 수 있는가?
• RQ3 NAS와 OD의 조합은 학생과 앙성 교사 간의 모델 용량 격차를 줄여 더 뛰어난 성능을 낼 수 있는가?
• RQ4 탐색된 학생 모델의 성능은 교사 앙상블과 비교해 정확도와 메모리 프로파일 측면에서 어떻게 다른가?

주요 결과

• 5개의 ResNet-32 앙상블을 사용한 CIFAR-100에서, 0.89M 파라미터가 넘는 KDAS 모델(기본 모델의 2배)은 오라클 정련 손실을 사용할 경우 교사의 정확도(76.87%)를 초월하는 76.87%의 정확도를 달성했다.
• 메모리 크기가 유사한 경우, KDAS 모델은 표준 지식 정련 기준선(MMNs)보다 일관되게 뛰어난 성능을 보이며 아키텍처 탐색의 이점을 입증했다.
• TinyImageNet에서, 표준 KD 대비 OD의 이점이 더 두드러졌다. 교사 모델 간에 다른 최적 예측을 가진 훈련 예제가 전체의 50.4%에 달하여 뚜렷한 정확도 향상이 가능했다.
• 다양한 백본 아키텍처(ResNet-110, WideResNets)에 대해 KDAS가 탐색한 학생 모델은 정확도 측면에서 표준 정련 및 교사 앙상블을 모두 초월했으며, 경쟁 가능한 메모리 사용량을 유지했다.
• 오라클 손실 없이도, NAS로 탐색된 학생 모델은 KD, DML, BSS, TAKD와 같은 다른 KD 방법보다 뛰어난 성능을 보였으며, 이는 탐색 자체의 가치를 시사한다.
• 모델에 종속되지 않는다는 점에서, CIFAR-100과 TinyImageNet에서 다양한 학생 아키텍처에서 일관된 성능 향상이 관찰되었다.