[論文レビュー] Teacher-Student Architecture for Knowledge Distillation: A Survey

Chengming Hu, Xuan Li+5 more|arXiv (Cornell University)|Aug 8, 2023

Neural Networks and Applications被引用数 11

ひとこと要約

このレビューは、複数の知識蒸留目的、知識表現、学習スキームにわたるTeacher-Studentアーキテクチャを検討し、圧縮だけにとどまらない活用を浮き彫りにし、今後の研究方向を概説します。

ABSTRACT

Although Deep neural networks (DNNs) have shown a strong capacity to solve large-scale problems in many areas, such DNNs are hard to be deployed in real-world systems due to their voluminous parameters. To tackle this issue, Teacher-Student architectures were proposed, where simple student networks with a few parameters can achieve comparable performance to deep teacher networks with many parameters. Recently, Teacher-Student architectures have been effectively and widely embraced on various knowledge distillation (KD) objectives, including knowledge compression, knowledge expansion, knowledge adaptation, and knowledge enhancement. With the help of Teacher-Student architectures, current studies are able to achieve multiple distillation objectives through lightweight and generalized student networks. Different from existing KD surveys that primarily focus on knowledge compression, this survey first explores Teacher-Student architectures across multiple distillation objectives. This survey presents an introduction to various knowledge representations and their corresponding optimization objectives. Additionally, we provide a systematic overview of Teacher-Student architectures with representative learning algorithms and effective distillation schemes. This survey also summarizes recent applications of Teacher-Student architectures across multiple purposes, including classification, recognition, generation, ranking, and regression. Lastly, potential research directions in KD are investigated, focusing on architecture design, knowledge quality, and theoretical studies of regression-based learning, respectively. Through this comprehensive survey, industry practitioners and the academic community can gain valuable insights and guidelines for effectively designing, learning, and applying Teacher-Student architectures on various distillation objectives.

研究の動機と目的

• モデルの圧縮を超えたTeacher-Studentアーキテクチャの広範な活用を動機づける。
• 蒸留目的を体系的に分類し、知識がどのように表現され、転送されるかを整理する。
• Teacher-Studentフレームワーク下の代表的な学習アルゴリズムと蒸留スキームを要約する。
• 分類、認識、生成、ランキング、回帰などの応用をハイライトする。
• アーキテクチャ設計、知識品質、および理論の課題と今後の方向性を特定する。

提案手法

• 知識蒸留目的の分類法を定義する：知識の圧縮、拡張、適応、強化。
• 知識表現を詳述する：応答ベース、中間、関係ベース、相互情報ベース。
• 学習アルゴリズムと蒸留スキームを調査する：マルチティーチャー、グラフベース、フェデレーテッド、クロスモーダル、オンライン、自己蒸留。
• クロスエントロピー、KL発散、距離・角度ベースの損失を組み合わせた最適化目的を検討する。
• 応用を要約し、将来の研究の方向性を提示する。

実験結果

リサーチクエスチョン

• RQ1 Teacher-Studentアーキテクチャは、モデル圧縮を超えてどのような蒸留目的をサポートできるか？
• RQ2 さまざまな知識表現と最適化戦略は、Teacher-Student蒸留においてどのように相互作用するか？
• RQ3 さまざまなタスクで効果的な学習アルゴリズムと蒸留スキームは何か？
• RQ4 KDにおけるアーキテクチャ設計と知識品質の未解決の研究方向は何か？
• RQ5 分類、認識、生成、ランキング、回帰などのタスクに、Teacher-Student蒸留手法はどの程度広く適用されているか？

主な発見

• Teacher-Studentアーキテクチャは、圧縮に加えて拡張、適応、強化を含む複数の蒸留目的を可能にする。
• 4つの知識表現を検討している：応答ベース、中間、関係ベース、相互情報ベース。
• マルチティーチャー、グラフベース、フェデレーテッド、クロスモーダル蒸留、オンラインおよび自己蒸留を含むさまざまな学習アルゴリズムと蒸留スキームを調査している。
• 応用は、さまざまなドメインにわたって分類、認識、生成、ランキング、回帰をカバーする。
• 本論文は、アーキテクチャ設計、知識品質、および回帰ベース学習の理論的側面における将来の方向性を特定している。