[논문 리뷰] Collaborative Teacher-Student Learning via Multiple Knowledge Transfer

Liyuan Sun, Jianping Gou외 3명|arXiv (Cornell University)|2021. 01. 21.

Advanced Neural Network Applications참고 문헌 49인용 수 7

한 줄 요약

이 논문은 복수의 지식 전이 방식을 통합한 통합 프레임워크인 다중 지식 전이를 통한 협업형 교사-학생 학습(CTSL-MKT)을 제안한다. 이 방법은 동료 학생 네트워크 간에 응답 기반 및 관계 기반 지식을 동시에 전이할 수 있도록 자기 정제(self-distillation)와 온라인 정제(online distillation)를 통합하여, 이중 방향의 협업 학습을 가능하게 하여 인스턴스 일관성과 상관관계 일관성을 향상시킨다. 이로 인해 기존의 지식 정제 방법보다 유의미한 성능 향상을 달성한다.

ABSTRACT

Knowledge distillation (KD), as an efficient and effective model compression technique, has been receiving considerable attention in deep learning. The key to its success is to transfer knowledge from a large teacher network to a small student one. However, most of the existing knowledge distillation methods consider only one type of knowledge learned from either instance features or instance relations via a specific distillation strategy in teacher-student learning. There are few works that explore the idea of transferring different types of knowledge with different distillation strategies in a unified framework. Moreover, the frequently used offline distillation suffers from a limited learning capacity due to the fixed teacher-student architecture. In this paper we propose a collaborative teacher-student learning via multiple knowledge transfer (CTSL-MKT) that prompts both self-learning and collaborative learning. It allows multiple students learn knowledge from both individual instances and instance relations in a collaborative way. While learning from themselves with self-distillation, they can also guide each other via online distillation. The experiments and ablation studies on four image datasets demonstrate that the proposed CTSL-MKT significantly outperforms the state-of-the-art KD methods.

연구 동기 및 목표

• 기존의 지식 정제 방법이 단일 유형의 지식과 고정된 교사-학생 아키텍처에 의존하는 데에 기인한 한계를 해결하기 위해.
• 고정된 용량 격차로 인해 오프라인 정제에서 성능 저하가 발생하는 문제를 해결하기 위해.
• 동료 학생 네트워크 간에 응답 기반 및 관계 기반 지식을 동시에 전이할 수 있도록, 복수의 정제 전략을 활용한 협업 학습을 가능하게 하기 위해.
• 자기 정제와 온라인 정제를 통합한 통합형 엔드 투 엔드 훈련 프레임워크를 통해 모델 압축 성능을 향상시키기 위해.

제안 방법

• 프레임워크는 다수의 학생 네트워크가 온라인 정제를 통해 상호 협업하여 상호 지식 전이가 가능한 동료 네트워크 아키텍처를 채택한다.
• 각 동료 네트워크 내부에서 자기 정제를 적용하여 자체 출력에서의 지식을 전이함으로써 내부 일관성을 향상시키고 과적합을 줄인다.
• 온라인 정제를 통해 동료 네트워크 간에 응답 기반 지식(예: 부드러운 로짓)과 관계 기반 지식(예: 특징 상관관계)을 전이한다.
• 다양한 동료 네트워크 아키텍처를 지원하여 다양한 모델 크기와 구조에 유연하게 적용할 수 있다.
• 응답 기반, 관계 기반, 자기 정제 손실를 통합한 통합 손실 함수를 통해 복수의 지식 유형을 통합한다.
• 훈련은 엔드 투 엔드이며, 대규모 교사 네트워크의 사전 훈련이 필요 없어 오프라인 정제에서 발생하는 용량 격차 문제를 피한다.

실험 결과

연구 질문

• RQ1 자기 정제와 온라인 정제를 결합하면 단일 전략 방법보다 지식 정제 성능을 향상시킬 수 있는가?
• RQ2 응답 기반 및 관계 기반 지식을 동시에 전이하면 학생 모델의 정확도가 향상되는가?
• RQ3 동료 네트워크 간의 협업 학습이 모델 일반화 및 일관성에 어떤 영향을 미치는가?
• RQ4 자기 정제가 동료 네트워크의 출력 다양성으로 인한 성능 저하를 어느 정도 완화하는가?
• RQ5 제안된 프레임워크는 사전 훈련된 대규모 교사가 필요 없이 다양한 네트워크 아키텍처에서 뛰어난 성능을 달성할 수 있는가?

주요 결과

• 자기 정제와 온라인 정제를 복수의 지식 유형에 걸쳐 통합한 전체 CTSL-MKT 모델은 ResNet18과 ResNet34를 사용할 때 CIFAR-100에서 평균 Top-1 정확도 77.07%를 기록하여 최고 성능을 달성했다.
• 자기 정제를 제거한 변형(B)은 성능 저하가 가장 크게 발생했으며(예: ResNet18과 ResNet34를 사용할 때 76.35%), 이는 자기 정제가 학습 안정화에 핵심적인 역할을 한다는 것을 시사한다.
• 제거 실험 결과, 복수의 정제 전략과 복수의 지식 유형을 사용할 경우, 단일 전략나 단일 지식 유형을 사용하는 방법보다 일관되게 높은 성능을 달성함을 확인했다.
• 프레임워크는 네 개의 이미지 분류 데이터셋에서 최신 기준 성능을 달성하여 기존의 KD 방법을 크게 앞서 간다.
• ResNet, MobileNetV2, ShuffleNetV2 및 다양한 깊이 변형 등 다양한 동료 네트워크 아키텍처에 대해 뛰어난 강건성을 보였다.
• 성능 향상의 원인은 자기 정제에 의한 인스턴스 일관성 향상과 온라인 정제에 의한 인스턴스 상관관계 일관성 향상으로, 상호 보완적인 효과를 발휘한다.