[논문 리뷰] Teacher-Student Architecture for Knowledge Distillation: A Survey

Chengming Hu, Xuan Li외 5명|arXiv (Cornell University)|2023. 08. 08.

Neural Networks and Applications인용 수 11

한 줄 요약

이 설문조사는 여러 지식 증류 목표, 지식 표현 및 학습 스킴에 걸친 교사-학생(Teacher-Student) 아키텍처를 검토하고, 이를 압축을 넘어서는 활용과 향후 연구 방향을 강조한다.

ABSTRACT

Although Deep neural networks (DNNs) have shown a strong capacity to solve large-scale problems in many areas, such DNNs are hard to be deployed in real-world systems due to their voluminous parameters. To tackle this issue, Teacher-Student architectures were proposed, where simple student networks with a few parameters can achieve comparable performance to deep teacher networks with many parameters. Recently, Teacher-Student architectures have been effectively and widely embraced on various knowledge distillation (KD) objectives, including knowledge compression, knowledge expansion, knowledge adaptation, and knowledge enhancement. With the help of Teacher-Student architectures, current studies are able to achieve multiple distillation objectives through lightweight and generalized student networks. Different from existing KD surveys that primarily focus on knowledge compression, this survey first explores Teacher-Student architectures across multiple distillation objectives. This survey presents an introduction to various knowledge representations and their corresponding optimization objectives. Additionally, we provide a systematic overview of Teacher-Student architectures with representative learning algorithms and effective distillation schemes. This survey also summarizes recent applications of Teacher-Student architectures across multiple purposes, including classification, recognition, generation, ranking, and regression. Lastly, potential research directions in KD are investigated, focusing on architecture design, knowledge quality, and theoretical studies of regression-based learning, respectively. Through this comprehensive survey, industry practitioners and the academic community can gain valuable insights and guidelines for effectively designing, learning, and applying Teacher-Student architectures on various distillation objectives.

연구 동기 및 목표

• 모델 압축을 넘어선 교사-학생 아키텍처의 폭넓은 활용을 촉진한다.
• 증류 목표와 지식이 어떻게 표현되고 전달되는지를 체계적으로 분류한다.
• 교사-학생 프레임워크 하에서 대표적 학습 알고리즘과 증류 스킴을 요약한다.
• 분류, 인식, 생성, 순위 매기기, 회귀에 걸친 응용을 강조한다.
• 아키텍처 설계, 지식 품질 및 이론에서의 미래 과제와 방향을 식별한다.

제안 방법

• 지식 증류 목표의 분류를 정의한다: 지식 압축, 확장, 적응, 및 강화.
• 지식 표현을 자세히 설명한다: 응답 기반, 중간, 관계 기반, 그리고 상호 정보 기반.
• 학습 알고리즘과 증류 스킴을 조사한다: 다교사, 그래프 기반, 연합, 교차 모달, 온라인, 및 자체 증류.
• 크로스 엔트로피, KL 발산, 거리/각도 기반 손실을 결합한 최적화 목표를 논의한다.
• 응용을 요약하고 향후 연구 방향을 제시한다.

실험 결과

연구 질문

• RQ1 교사-학생 아키텍처가 모델 압축을 넘어 어떤 증류 목표를 지원할 수 있는가?
• RQ2 다양한 지식 표현과 최적화 전략이 교사-학생 증류에서 어떻게 상호 작용하는가?
• RQ3 다양한 작업에서 효과적인 학습 알고리즘과 증류 스킴은 무엇인가?
• RQ4 지식 증류(KD)의 아키텍처 설계 및 지식 품질에 대한 열린 연구 방향은 무엇인가?
• RQ5 분류, 인식, 생성, 순위 매기기, 회귀와 같은 작업 전반에 걸쳐 교사-학생 증류 방법이 얼마나 널리 적용되고 있는가?

주요 결과

• 교사-학생 아키텍처는 압축뿐 아니라 확장, 적응 및 강화 등 여러 증류 목표를 가능하게 한다.
• 네 가지 지식 표현이 논의된다: 응답 기반, 중간, 관계 기반, 그리고 상호 정보 기반.
• 다양한 학습 알고리즘과 증류 스킴을 조사하는데, 다교사, 그래프 기반, 연합, 교차 모달 증류, 온라인 및 자체 증류를 포함한다.
• 응용은 다양한 도메인에서 분류, 인식, 생성, 순위 매기기 및 회귀에 걸친다.
• 본 논문은 아키텍처 설계, 지식 품질, 회귀 기반 학습의 이론적 측면에서의 미래 방향을 식별한다.