[논문 리뷰] Interactive Knowledge Distillation

Shipeng Fu, Zhen Li외 4명|arXiv (Cornell University)|2020. 07. 03.

Advanced Neural Network Applications참고 문헌 38인용 수 7

한 줄 요약

이 논문은 학습 중에 사전 훈련된 교사 네트워크의 블록을 랜덤하게 교체하여 학생 네트워크 성능을 향상시키는 새로운 지식 증류 방법인 상호작용 지식 증류(IAKD)를 제안한다. 기존의 방법이 교사의 특징을 모방하기 위해 증류 손실에 의존하는 데 반해, IAKD는 교사의 강력한 특징 변환 능력을 직접 학생 네트워크에 통합함으로써 상태의 기술적 성능 향상을 이끌어내며, 추가적인 훈련 시간을 단축하고 추가 하이퍼파rameter가 필요로 하지 않는다.

ABSTRACT

Knowledge distillation is a standard teacher-student learning framework to train a light-weight student network under the guidance of a well-trained large teacher network. As an effective teaching strategy, interactive teaching has been widely employed at school to motivate students, in which teachers not only provide knowledge but also give constructive feedback to students upon their responses, to improve their learning performance. In this work, we propose an InterActive Knowledge Distillation (IAKD) scheme to leverage the interactive teaching strategy for efficient knowledge distillation. In the distillation process, the interaction between teacher and student networks is implemented by a swapping-in operation: randomly replacing the blocks in the student network with the corresponding blocks in the teacher network. In the way, we directly involve the teacher's powerful feature transformation ability to largely boost the student's performance. Experiments with typical settings of teacher-student networks demonstrate that the student networks trained by our IAKD achieve better performance than those trained by conventional knowledge distillation methods on diverse image classification datasets.

연구 동기 및 목표

• 비상호작용 지식 증류의 한계를 해결하기 위해, 학생 네트워크가 교사 지식을 충분히 활용하지 못하는 이유는 특징 변환 능력 부족 때문임을 다루기 위해.
• 증류 중 교사와 학생 네트워크 간의 동적이고 이원적인 상호작용을 가능하게 하여 학생 네트워크 성능을 향상시키기 위해.
• 직접 교사의 특징 변환 능력을 학생에 통합함으로써 추가 증류 손실과 하이퍼파rameter 조정이 필요 없도록 하기 위해.
• 교사 네트워크에서 중복된 특징 추출 및 지식 변환 과정을 피함으로써 훈련 효율성을 높이기 위해.
• 다양한 네트워크 아키텍처와 데이터셋에서 제안된 방법의 일반화성과 강건성을 검증하기 위해.

제안 방법

• IAKD는 훈련 중에 교사와 학생 네트워크 간에 블록을 무작위로 교체하며, 각 반복에서 해당하는 교사 블록으로 학생 블록을 교체한다.
• 교체된 교사 블록은 이전 학생 블록의 출력을 처리하여 학생의 후속 레이어를 안내하는 향상된 특징 맵을 제공한다.
• 블록 교체의 빈도와 시기를 제어하기 위해 세 가지 확률 스케줄링 전략을 제안하여 교사와 학생 간의 상호작용 역학을 최적화한다.
• 상호작용 자체가 직접적인 특징 주입을 통해 지식 전달을 이끌어내므로 추가 증류 손실이 필요로 하지 않는다.
• 기존의 지식 증류 방법과 호환되며, 예를 들어 IAKD-R+HKD와 같이 결합하여 성능을 더욱 향상시킬 수 있다.
• 교사 네트워크의 전체 순방향 전파를 피하고 복잡한 지식 변환 모듈을 제거함으로써 훈련 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 블록 교체를 통한 교사와 학생 네트워크 간 직접적 상호작용이 기존 지식 증류를 초월하여 학생 네트워크 성능 향상에 기여하는가?
• RQ2 증류 손실과 하이퍼파rameter 조정을 제거함으로써 훈련 효율성과 성능 안정성이 향상되는가?
• RQ3 학생 네트워크의 특징 변환 능력이 제한된 경우 상호작용 메커니즘이 지식 전달에 어떤 영향을 미치는가?
• RQ4 IAKD는 다양한 교사-학생 아키텍처 조합과 데이터셋에서 일반화 가능한가?
• RQ5 성능 향상을 극대화하기 위해 블록 교체에 최적의 스케줄링 전략은 무엇인가?

주요 결과

• CIFAR-100에서 IAKD-R는 저렴한 ResNet-26 학생 네트워크로 Top-1 정확도 70.94%를 기록하여 기준 학생 모델의 68.84%를 초월하고, 모든 비교된 대조 기반 방법보다 뛰어났다.
• TinyImageNet에서 IAKD-R는 ResNet-50x4 교사 네트워크를 사용해 Top-1 정확도 72.79%를 달성하여 기준 학생 모델의 67.11%를 초월하고, 모든 다른 증류 방법보다 뛰어났다.
• CIFAR-100에서 IAKD-R는 ResNet-80/ResNet-26 조합을 사용해 훈련 시간을 4시간 40분으로 단축시켰으며, 이는 비교된 모든 방법(예: HKD 6시간 47분, AT 11시간 29분)보다 빠르다.
• CIFAR-100에서 테스트한 모든 아키텍처 조합에서 IAKD-R와 IAKD-R+HKD는 일관되게 학생 성능을 향상시켰고, RKD-DA 및 AB와 같은 대조 기반 방법은 다수 설정에서 실패했다.
• IAKD-R와 HKD의 조합(IAKD-R+HKD)은 4개 설정 중 3개에서 최고 성능을 기록했으며, VGG-11에서 Top-1 정확도 71.76%를 달성하여 한 경우에서 교사의 72.74%를 초월했다.
• ResNet, VGG, ShuffleNet 아키텍처를 포함한 다양한 설정에서 강건성을 입증하여 일반화 능력을 확인했다.