[論文レビュー] Dynamic Rectification Knowledge Distillation

Fahad Rahman Amik, Ahnaf Ismat Tasin+3 more|arXiv (Cornell University)|Jan 27, 2022

Advanced Neural Network Applications被引用数 7

ひとこと要約

本論文は、教師なし知識蒸留フレームワークである動的補正知識蒸留（DR-KD）を提案する。DR-KDは、知識蒸留の前に正解ラベルを用いて誤ったログ確率を補正することで、学生ネットワーク自身を動的教師に変換する。DR-KDは、ベースライン比でTiny ImageNetで2.65%、CIFAR-100で3.28%の精度向上を達成し、追加の学習コストや大規模な教師モデルを必要とせずに、最先端の手法を上回る性能を発揮する。

ABSTRACT

Knowledge Distillation is a technique which aims to utilize dark knowledge to compress and transfer information from a vast, well-trained neural network (teacher model) to a smaller, less capable neural network (student model) with improved inference efficiency. This approach of distilling knowledge has gained popularity as a result of the prohibitively complicated nature of such cumbersome models for deployment on edge computing devices. Generally, the teacher models used to teach smaller student models are cumbersome in nature and expensive to train. To eliminate the necessity for a cumbersome teacher model completely, we propose a simple yet effective knowledge distillation framework that we termed Dynamic Rectification Knowledge Distillation (DR-KD). Our method transforms the student into its own teacher, and if the self-teacher makes wrong predictions while distilling information, the error is rectified prior to the knowledge being distilled. Specifically, the teacher targets are dynamically tweaked by the agency of ground-truth while distilling the knowledge gained from traditional training. Our proposed DR-KD performs remarkably well in the absence of a sophisticated cumbersome teacher model and achieves comparable performance to existing state-of-the-art teacher-free knowledge distillation frameworks when implemented by a low-cost dynamic mannered teacher. Our approach is all-encompassing and can be utilized for any deep neural network training that requires categorization or object recognition. DR-KD enhances the test accuracy on Tiny ImageNet by 2.65% over prominent baseline models, which is significantly better than any other knowledge distillation approach while requiring no additional training costs.

研究の動機と目的

• 従来の知識蒸留が大規模で事前学習済みの教師モデルに依存するため、高い計算コストと学習コストがかかる問題に対処すること。
• 学生が自らの教師として機能できるようにすることで、煩雑で高価な教師モデルの必要性を排除すること。
• 正解ラベルによる補正を用いて、誤った知識蒸留を動的に是正することで、学生モデルの性能を向上させること。
• エッジデバイスやリソース制約のある環境に適した低コストで効率的な蒸留フレームワークを開発すること。
• 訓練が不十分な教師モデルでさえ、補正を施せば、良好に訓練された教師モデルを上回ることを示すこと。

提案手法

• 学生モデルが自らの教師として機能し、知識蒸留の前に正解ラベルを用いてログ確率を動的に補正する。
• 学生の誤ったログ確率は、ソフトマックス活性化の前に正解のワンホットベクトルに置き換えることで補正され、正確な知識のみが蒸留される。
• 温度Tを用いたKullback-Leibler（KLD）ダイバージェンスを、補正済みの学生（教師として）と元の学生（学生として）の間で用いて知識蒸留を実行する。
• 最終的な損失は、教師と学生間のKLDと正解ラベルを用いた交差エントロピー損失の組み合わせであり、エンドツーエンドの学習が可能になる。
• 蒸留中にソフトラベルの学習を安定化させるために、学生のソフトマックスで温度スケーリングを用いる。
• 本手法は任意の深層ニューラルネットワークアーキテクチャと互換性があり、画像分類および物体認識タスクに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 動的補正を施した自己教師としての学生ネットワークが、優れた性能を達成できるか？
• RQ2 大規模な事前学習済み教師モデルの必要性を排除することで、知識蒸留の効率性と性能が向上するか？
• RQ3 蒸留の前に正解ラベルを用いてログ確率を補正することで、従来の大きな教師モデルを用いた蒸留よりも一般化性能が向上するか？
• RQ4 DR-KDは、さまざまなデータセットおよびモデルアーキテクチャにおいて、最先端の教師なしおよび教師あり蒸留手法と比較してどのように性能を発揮するか？
• RQ5 訓練が不十分な教師モデルでさえ、補正を施せば、良好に訓練された教師モデルを上回る性能を発揮できるか？

主な発見

• Tiny ImageNetにおいて、MobileNetV2に適用したDR-KDは、ベースライン比で2.65%のテスト精度向上を達成し、Normal KD や Tf-KD を含むすべての比較手法を上回った。
• CIFAR-100では、訓練が不十分な教師モデルにDR-KDを適用した場合、3.28%の性能向上を達成し、すべてのベースラインを著しく上回った。
• Tiny ImageNetにおけるMobileNetV2では、DR-KDが57.71%のテスト精度を達成したのに対し、ベースラインは55.06%であり、2.65%の絶対的向上を示した。
• 補正済みの自己教師モデル（200万パラメータ）は、Tiny ImageNetにおけるShuffleNetV2で1100万パラメータのResNet18教師を上回った。これは動的補正の有効性を示している。
• DR-KDは、CIFAR-100、CIFAR-10、Tiny ImageNetの3つのデータセットにおいて、MobileNetV2、ShuffleNetV2、ResNet50、DenseNet121のすべての評価モデルで一貫して精度を向上させた。
• 本手法は追加の学習コストを要せず、任意のディープラーニングモデルと互換性があるため、エッジデプロイメントにおいて非常に実用的である。