[論文レビュー] Stagewise Knowledge Distillation

Akshay Kulkarni, Navid Panchi+1 more|arXiv (Cornell University)|Nov 15, 2019

Advanced Neural Network Applications参考文献 22被引用数 3

ひとこと要約

本稿では、段階的知識蒸留（SKD）を提案する。SKDは、教師モデルの知識を段階的に活用しながら、学生モデルを段階的に訓練するデータ効率の良い知識蒸留手法である。SKDは、訓練データのわずか一部のみを用いても顕著な性能向上を達成し、従来のKD手法を上回りつつ、剪定や量子化などの他の圧縮技術とも互換性を持つ。

ABSTRACT

Despite the success of Deep Learning (DL), the deployment of modern DL models requiring large computational power poses a significant problem for resource-constrained systems. This necessitates building compact networks that reduce computations while preserving performance. Traditional Knowledge Distillation (KD) methods that transfer knowledge from teacher to student (a) use a single-stage and (b) require the whole data set while distilling the knowledge to the student. In this work, we propose a new method called Stagewise Knowledge Distillation (SKD) which builds on traditional KD methods by progressive stagewise training to leverage the knowledge gained from the teacher, resulting in data-efficient distillation process. We evaluate our method on classification and semantic segmentation tasks. We show, across the tested tasks, significant performance gains even with a fraction of the data used in distillation, without compromising on the metric. We also compare our method with existing KD techniques and show that SKD outperforms them. Moreover, our method can be viewed as a generalized model compression technique that complements other model compression methods such as quantization or pruning.

研究の動機と目的

• 従来の知識蒸留が完全なデータセットと単一段階の訓練を必要とするという非効率性を是正する。
• 蒸留のためのデータ要件を低減しつつ、学生モデルの性能を維持または向上させる。
• 学生モデルが教師から段階的に学習できるプログレッシブな訓練戦略を開発する。
• 量子化や剪定などの既存技術と互換性を持つ汎用的なモデル圧縮フレームワークを構築する。

提案手法

• 知識蒸留を複数段階に分け、段階的進行する訓練パラダイムを導入する。
• 各段階において、学生モデルはデータのサブセットを用いて訓練され、教師モデルのソフトラベルが利用される。
• 前期の段階で得た知識を、後続の段階での性能向上に活用する。
• 各段階に応じて調整された、交差エントロピーと知識蒸留の目的関数を組み合わせた蒸留損失関数を用いる。
• 段階を経るごとに訓練データの複雑さやモデル容量を段階的に増加させ、深刻な忘却を回避する。
• 量子化や剪定などの標準的なモデル圧縮技術と互換性を維持する。

実験結果

リサーチクエスチョン

• RQ1 段階的訓練アプローチは、性能を損なわせることなく、知識蒸留におけるデータ効率を向上させることができるか？
• RQ2 限られたデータ下で、段階的知識蒸留は標準的な単一段階KDと比べてどのように性能を発揮するか？
• RQ3 SKDは、訓練データのわずか一部しか使用しない状況でも、どれほど高い精度を維持できるか？
• RQ4 SKDは、量子化や剪定などの他のモデル圧縮技術と互換性を持つのか？

主な発見

• SKDは、画像分類およびセマンティックセグメンテーションタスクにおいて、訓練データのわずか一部しか使用しない状況でも顕著な性能向上を達成する。
• 評価された全タスクおよびデータ環境において、既存の知識蒸留技術を上回る性能を発揮する。
• データ要件を低減しつつも高い精度を維持するため、優れたデータ効率性を示す。
• 提案手法は、量子化や剪定などの他のモデル圧縮技術とも互換性を持つため、汎用的なモデル圧縮が可能となる。