[논문 리뷰] Role-Wise Data Augmentation for Knowledge Distillation

Jie Fu, Xue Geng외 7명|arXiv (Cornell University)|2020. 04. 19.

Data Quality and Management참고 문헌 43인용 수 18

한 줄 요약

이 논문은 지식 정착에서 역할 기반 데이터 증강을 제안하며, 지식 전달을 향상시키기 위해 교사 및 학생 네트워크에 대해 각각 다른 데이터 증강 정책을 학습한다. 각 모델의 학습 능력에 맞게 훈련 데이터를 맞춤화함으로써, 이 방법은 상당한 정확도 향상을 이룬다—기본 훈련 대비 최대 3% 향상되고 표준 KD 대비 1.5% 향상되며, 특히 저정밀도 및 전정밀도 설정에서 두드러진다.

ABSTRACT

Knowledge Distillation (KD) is a common method for transferring the ``knowledge'' learned by one machine learning model (the extit{teacher}) into another model (the extit{student}), where typically, the teacher has a greater capacity (e.g., more parameters or higher bit-widths). To our knowledge, existing methods overlook the fact that although the student absorbs extra knowledge from the teacher, both models share the same input data -- and this data is the only medium by which the teacher's knowledge can be demonstrated. Due to the difference in model capacities, the student may not benefit fully from the same data points on which the teacher is trained. On the other hand, a human teacher may demonstrate a piece of knowledge with individualized examples adapted to a particular student, for instance, in terms of her cultural background and interests. Inspired by this behavior, we design data augmentation agents with distinct roles to facilitate knowledge distillation. Our data augmentation agents generate distinct training data for the teacher and student, respectively. We find empirically that specially tailored data points enable the teacher's knowledge to be demonstrated more effectively to the student. We compare our approach with existing KD methods on training popular neural architectures and demonstrate that role-wise data augmentation improves the effectiveness of KD over strong prior approaches. The code for reproducing our results can be found at https://github.com/bigaidream-projects/role-kd

연구 동기 및 목표

• 교수 및 학생 모델의 능력 차이에도 불구하고 동일한 훈련 데이터를 사용하는 기존 지식 정착 방법의 한계를 해결하기 위해.
• 각 모델의 학습 프ofile에 맞게 적응형 데이터 증강을 적용할 경우 지식 전달의 효과성이 향상되는지 조사하기 위해.
• 표준 KD가 상당한 정확도 저하를 초래할 수 있는 저비트폭(양자화된) 신경망에서 지식 정착 성능을 향상시키기 위해.
• 교수 및 학생 모델에 대해 독립적인 데이터 증강 스케줄을 학습하는 이중 단계 프레임워크를 개발하기 위해.
• 표준 KD를 초월해, 교수 및 학생 모델의 아키텍처가 유사한 경우에도 맞춤형 증강 정책이 학생 성능 향상에 기여하는지 확인하기 위해.

제안 방법

• 이중 단계 훈련 프레임워크를 제안한다: 먼저 정책 학습된 데이터 증강 스케줄을 사용해 교사를 훈련하고, 이후 별도로 학습된 증강 스케줄을 사용해 학생에게 지식을 정착시킨다.
• 다양이 가능성이 있는 아키텍처 검색(DARTS) 기반 접근 방식을 활용해, 지식 정착 목표와 교수 및 학생 모델의 데이터 증강 정책을 동시에 최적화한다.
• 훈련 에포크 동안 데이터 증강 연산(예: 회전, 컷아웃, 믹스업 등)의 운영 확률 및 크기 파라미터를 학습하여 에포크 기반 스케줄을 구성한다.
• 내부 및 상호 특징 맵 간 관계를 모두 포괄하는 특징 기반 지식 정착 변형을 도입하여 지식 전달을 향상시킨다.
• 데이터 증강 정책 학습을 지식 정착 목표에서 분리함으로써, 기존의 모든 KD 방법과의 조합이 가능하도록 한다.
• 저정밀도(양자화된) 및 전정밀도 학생 네트워크에 모두 적용하여, 다양한 설정에서의 일반화 능력을 검증한다.

실험 결과

연구 질문

• RQ1 교수 및 학생 모델에 대해 동일한 데이터를 사용하는 것과는 대비하여, 교수 및 학생 모델에 대해 별개의 데이터 증강 정책을 학습할 경우 지식 정착 성능 향상이 이루어지는가?
• RQ2 역할 기반 데이터 증강은 표준 KD가 실패하기 쉬운 저정밀도 모델 훈련에서 더 높은 성능을 내는가?
• RQ3 교수 및 학생 모델 간에 학습된 증강 스케줄은 어떻게 다를까? 그리고 훈련 과정에서 이들의 진화 패턴은 어떠한가?
• RQ4 이 방법의 효과성은 교수 및 학생 모델 간 아키텍처 유사성에 따라 달라지는가?
• RQ5 제안된 방법은 기존 KD 기법과 조합이 가능하며, 그 성능에 영향을 주지 않는가?

주요 결과

• 제안된 역할 기반 데이터 증강은 전정밀도 설정에서 기본 훈련 대비 최대 3% 향상되고 표준 KD 대비 1.5% 향상되어 지식 정착 성능을 향상시킨다.
• CIFAR-100에서 WRN-16-2를 학생 모델로, WRN-28-10를 교수 모델로 사용할 경우, 76.19%의 정확도를 달성하여 기본 베이스라인(72.68%)과 표준 KD(74.41%)를 모두 초월한다.
• 더 유사한 아키텍처(예: PyramidNet-200-240에서 WRN-16-2로의 정착)를 사용할 경우, 75.03%의 정확도를 기록하여 교수 및 학생 모델의 아키텍처가 유사할 경우 더 큰 성과 향상을 보였다.
• 교수 및 학생 모델의 학습된 증강 스케줄은 뚜렷하게 다릅니다: 학생의 스케줄은 저정밀도 모델에 어려운 연산인 회전 및 컷아웃과 같은 요소를 강조하는 경향을 보입니다.
• 이 방법은 양자화를 넘어서 일반화 능력이 뛰어나며, WRN-16-2, PreResNet32, WRN-16-4 등의 전정밀도 네트워크에서 다양한 교수 아키텍처에 대해 성능 향상을 보였다.
• 이중 단계 프레임워크는 기존의 KD 방법과 수직적(orthogonal)이며, 소프트 레이블, 특징 맵, 또는 하이브리드 정착 전략과의 원활한 통합이 가능하다.