[論文レビュー] Data Efficient Stagewise Knowledge Distillation

Akshay Kulkarni, Navid Panchi+2 more|arXiv (Cornell University)|Nov 15, 2019

Advanced Neural Network Applications参考文献 46被引用数 5

ひとこと要約

本稿では、段階的知識蒸留（SKD）を提案する。SKDは、事前に訓練済みの教師モデルの途中特徴マップから段階的に知識を蒸留することで、学生ネットワークを段階的に訓練するデータ効率の良い手法である。一度に少ないパラメータを最適化し、教師の全データ知識を活用することで、10–40%の訓練データのみで従来のKD手法を上回る性能を達成し、画像分類およびセマンティックセグメンテーションのタスクで優れた性能を発揮する。

ABSTRACT

Despite the success of Deep Learning (DL), the deployment of modern DL models requiring large computational power poses a significant problem for resource-constrained systems. This necessitates building compact networks that reduce computations while preserving performance. Traditional Knowledge Distillation (KD) methods that transfer knowledge from teacher to student (a) use a single-stage and (b) require the whole data set while distilling the knowledge to the student. In this work, we propose a new method called Stagewise Knowledge Distillation (SKD) which builds on traditional KD methods by progressive stagewise training to leverage the knowledge gained from the teacher, resulting in data-efficient distillation process. We evaluate our method on classification and semantic segmentation tasks. We show, across the tested tasks, significant performance gains even with a fraction of the data used in distillation, without compromising on the metric. We also compare our method with existing KD techniques and show that SKD outperforms them. Moreover, our method can be viewed as a generalized model compression technique that complements other model compression methods such as quantization or pruning.

研究の動機と目的

• リソース制約のある環境における従来の知識蒸留の高いデータおよび計算コストを低減すること。
• 一度にパラメータの一部のみを段階的に更新することで、学生の訓練における過学習および最適化の難易度を低減すること。
• 教師モデルの途中知識を活用することで、訓練データのわずかな割合でも効果的な蒸留を可能にすること。
• 現在の手法（例：プルーニングや量子化）と併用可能な柔軟でタスクに依存しない圧縮技術を開発すること。
• 段階的訓練が分類およびセグメンテーションタスクの両方において一般化性能とデータ効率を向上させることを実証すること。

提案手法

• 学生ネットワークは段階的に訓練され、各段階は教師ネットワークの特定の途中特徴マップに対応する。
• 各段階で、学生の出力と教師の特徴マップの間の平均二乗誤差（MSE）損失を用いて、対応する学生層のみが更新される。
• 最終的な分類ヘッドは、教師とは独立して、正解ラベルを用いて交差エントロピー損失で直接訓練される。
• 教師ネットワークの浅い層から深い層へと段階的に進むことで、知識が段階的に吸収されるように、学生を段階的に訓練する。
• 各段階でトレーニング可能なパラメータ数を減らすことで、最適化の複雑さと過学習のリスクを低減する。
• 標準的なトレーニングパイプラインと互換性があり、量子化やプルーニングなどの他の圧縮技術と組み合わせて利用可能である。

実験結果

リサーチクエスチョン

• RQ1 学生モデルを一度にすべてではなく段階的に訓練することで、知識蒸留のデータ効率を向上させることができるか？
• RQ2 従来のエンドツーエンドKDと比較して、段階的訓練は過学習および最適化の難易度を低減するか？
• RQ3 訓練データのわずかな割合（例：10%）でのみ使用した場合、SKDは学生の性能を維持または向上させることができるか？
• RQ4 さまざまなタスクにおいて、SKDは従来のKD手法と比較して、精度およびデータ効率の点で優れているか？
• RQ5 SKDは画像分類やセマンティックセグメンテーションを含む多様なビジョンタスクに一般化可能か？

主な発見

• SKDは、訓練データの10%のみを用いても、画像分類およびセマンティックセグメンテーションタスクで顕著な性能向上を達成し、ベースラインのKD手法を上回る。
• CamVidデータセットにおけるセマンティックセグメンテーションでは、10%のデータで訓練したSKDが、教師なしで40%のデータで訓練したモデルを上回り、顕著なデータ効率を示した。
• 画像分類においては、従来のKDおよび同時訓練KDのベースラインを上回る性能を示し、セグメンテーションでは最小5%のIoU向上と一貫した精度向上を達成した。
• パラメータ数を段階ごとに制限することで、小さなモデルにおける過学習を低減し、特に30–40%のデータ環境下で、大きな学生モデル（例：ResNet26）がベースライン手法で過学習を示すのとは対照的に顕著であった。
• 段階的訓練により一般化性能が向上し、学生モデルの容量が大きくなるに従い性能が向上する傾向を示し、過学習への感受性が低下していることが示された。
• 本手法はタスクに強く依存せず、他の圧縮技術と組み合わせ可能であるため、汎用的なモデル圧縮フレームワークであることが示唆された。