[論文レビュー] Highlight Every Step: Knowledge Distillation via Collaborative Teaching

Haoran Zhao, Xin Sun+3 more|arXiv (Cornell University)|Jul 23, 2019

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、スクラッチで訓練された教師と事前学習済みの専門家教師の二重の監督を用いて、コンactな学生ネットワークを訓練する新しい知識蒸留法である協調的教師知識蒸留（CTKD）を提案する。スクラッチ教師は一時的なログ確率を通じて、学生の最適化経路を段階的にガイドする。一方、専門家教師は重要特徴に注目するための注目マップを提供する。その結果、CIFAR-10、CIFAR-100、SVHN、Tiny ImageNetの複数のベンチマークで最先端の性能を達成し、ベースラインの学生モデル比で最大2.94%の精度向上を実現した。

ABSTRACT

High storage and computational costs obstruct deep neural networks to be deployed on resource-constrained devices. Knowledge distillation aims to train a compact student network by transferring knowledge from a larger pre-trained teacher model. However, most existing methods on knowledge distillation ignore the valuable information among training process associated with training results. In this paper, we provide a new Collaborative Teaching Knowledge Distillation (CTKD) strategy which employs two special teachers. Specifically, one teacher trained from scratch (i.e., scratch teacher) assists the student step by step using its temporary outputs. It forces the student to approach the optimal path towards the final logits with high accuracy. The other pre-trained teacher (i.e., expert teacher) guides the student to focus on a critical region which is more useful for the task. The combination of the knowledge from two special teachers can significantly improve the performance of the student network in knowledge distillation. The results of experiments on CIFAR-10, CIFAR-100, SVHN and Tiny ImageNet datasets verify that the proposed knowledge distillation method is efficient and achieves state-of-the-art performance.

研究の動機と目的

• リソース制約のあるデバイス上で高精度なコンパクトな学生ネットワークを訓練する課題に対処すること。
• 事前学習済み教師からの最終的知識に加え、スクラッチ教師からの動的訓練段階知識も活用すること。
• スクラッチ教師からの経路ガイドと専門家教師からの特徴注目を組み合わせることで、学生の一般化性能を向上させること。
• 複数のベンチマークデータセットで最先端の知識蒸留性能を達成すること。

提案手法

• スクラッチ教師は、学生ネットワークと並行してスクラッチから訓練され、各訓練ステップで一時的なログ確率を提供し、学生の最適化経路をガイドする。
• 同じデータセットで事前学習済みの専門家教師は、中間層からの注目マップを提供し、学生が重要特徴に注目できるように支援する。
• 学生ネットワークは両教師の共同監視を受ける：スクラッチ教師は高精度なログ確率への収束を保証し、専門家教師は初期層における特徴学習を強化する。
• 知識蒸留は、スクラッチ教師からのソフトラベルと専門家教師からの注目マップを統合し、学生の損失関数に組み込む。
• 標準的な訓練プロトコルと互換性があり、ネットワーク量子化などの既存の圧縮技術と組み合わせて使用可能である。
• 本手法は、教師にWRN-40-1、学生にWRN-16-1を用い、CIFAR-10、CIFAR-100、SVHN、Tiny ImageNetで評価された。

実験結果

リサーチクエスチョン

• RQ1 スクラッチ教師からの動的訓練段階知識は、知識蒸留における学生ネットワークの性能向上に寄与するか？
• RQ2 スクラッチ教師からの経路ガイドと専門家教師からの注目ベースの監視を組み合わせることで、学生の一般化性能が向上するか？
• RQ3 二つの異なる教師からの協調的指導は、単一教師の知識蒸留と比較して、精度と頑健性の面で優れているか？
• RQ4 専門家教師から得られる知識（例：注目マップ）の中で、協調的指導フレームワークにおいて最も効果的なものは何か？

主な発見

• CTKD手法はTiny ImageNetデータセットでトップ-1精度53.59%を達成し、蒸留なしで訓練されたベースライン学生モデル比で2.94%の向上を実現した。
• CIFAR-100では、CTKDで訓練された学生ネットワークが、既存の最先端手法を上回り、複数のベンチマークで一貫した向上を示した。
• 専門家教師からの注目マップの使用は、特に初期層における特徴学習を顕著に向上させ、学生の一般化能力を強化した。
• スクラッチ教師による段階的監視は、学生が悪い局所最適解に陥るのを防ぎ、より最適な訓練経路に従うのを助けた。
• 協調的指導戦略により、任意の単一教師蒸留法よりも学生モデルが教師に近い性能を達成した。
• 本手法は頑健で汎用性が高く、CIFAR-10、CIFAR-100、SVHN、Tiny ImageNetを含む多様なデータセットで一貫した向上を示した。