[論文レビュー] Learning Student-Friendly Teacher Networks for Knowledge Distillation

Dae Young Park, Moon-Hyun Cha+3 more|arXiv (Cornell University)|Feb 12, 2021

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 45

ひとこと要約

2段階の教師ネットワークの訓練を提案し、生徒に優しい学生へと転移させることで、さまざまなアーキテクチャとKD手法に対する蒸留性能を向上させる。

ABSTRACT

We propose a novel knowledge distillation approach to facilitate the transfer of dark knowledge from a teacher to a student. Contrary to most of the existing methods that rely on effective training of student models given pretrained teachers, we aim to learn the teacher models that are friendly to students and, consequently, more appropriate for knowledge transfer. In other words, at the time of optimizing a teacher model, the proposed algorithm learns the student branches jointly to obtain student-friendly representations. Since the main goal of our approach lies in training teacher models and the subsequent knowledge distillation procedure is straightforward, most of the existing knowledge distillation methods can adopt this technique to improve the performance of diverse student models in terms of accuracy and convergence speed. The proposed algorithm demonstrates outstanding accuracy in several well-known knowledge distillation techniques with various combinations of teacher and student models even in the case that their architectures are heterogeneous and there is no prior knowledge about student models at the time of training teacher networks.

研究の動機と目的

• 知識蒸留を改善する動機づけとして、事前訓練済みの教師に依存するのではなく、生徒へ容易に転送できる教師を学習すること。
• Saintudent-Friendly Teacher Network (SFTN) フレームワークを導入し、補助的な学生ブランチと共に教師を訓練する。
• SFTN が CIFAR-100、ImageNet など複数データセットおよび蒸留アルゴリズム全体で精度と収束を改善することを示す。
• 異種の教師–学生ペアや異なるアーキテクチャでの SFTN の適用性を実証する。
• ハイパーパラメータの影響や事前訓練済み教師との併用など、実用的な考慮事項を強調する。

提案手法

• 教師と学生ブランチをブロックへモジュール化し、変換層を介して教師に学生ブランチを接続する。
• 教師と学生ブランチを共同訓練し、総合的な損失として以下の組み合わせを最小化する：地上真実に対する教師損失、学生と教師の出力間のKLダイバージェンス、学生ブランチのクロスエントロピー損失。
• 各学生ブランチが対応する教師ブロックを特徴変換 T を介してミラーする、ロジットレベルの蒸留を用いて次元を合わせる。
• 蒸留段階では、学習済みの教師ロジット q_T と変換された学生ロジット q_R^i を用いた標準的なKD を適用する。
• 総SFTN損失を最適化する： L_SFTN = lambda_T L_T + lambda_R^KL L_R^KL + lambda_R^CE L_R^CE、KLの際のソフトマックス滑らかさの温度パラメータを使用する。

実験結果

リサーチクエスチョン

• RQ1 教師ブランチを学生ブランチと共同訓練することで、事前訓練済みの教師よりも学生へと転移可能な表現を得られるか？
• RQ2 SFTN は多様なKDアルゴリズムとアーキテクチャ、異種の教師–学生ペアを含む場合でも蒸留性能を改善できるか？
• RQ3 ハイパーパラメータ（ソフトマックス温度、KLウェイト）が SFTN における知識移転の有効性にどのように影響するか？
• RQ4 事前訓練済み教師の使用により訓練コストを削減できる場合、SFTN は有効か？
• RQ5 SFTN が訓練中に見られない異なる容量やアーキテクチャの学生モデルへどれだけ知識移転の恩恵を及ぼすか？

主な発見

• SFTN は CIFAR-100 および ImageNet の多くのKDベースラインで学生の精度を改善する。
• CIFAR-100 では、標準的な教師に対する平均的改善は実験で約 1.58 ポイント程度。
• 教師の精度が最大化されていなくても SFTN は大きな利得を与え、異種の教師–学生ペアでも利益が持続する。
• ImageNet の実験では SFTN は標準的な教師を一貫して上回り、最良の学生は標準的な教師よりおよそ 0.5 ポイント高い Top-1 を達成。
• SFTN は KD、FitNet、AT、SP、CRD、SSKD、OH など、さまざまなKDアルゴリズムとアーキテクチャの下でも有効であり続ける。