[論文レビュー] Refine Myself by Teaching Myself: Feature Refinement via Self-Knowledge Distillation

Mingi Ji, Seungjae Shin+3 more|arXiv (Cornell University)|Mar 15, 2021

Advanced Neural Network Applications参考文献 39被引用数 16

ひとこと要約

本稿では、特徴マップとソフトラベルの精錬に役立つ補助自己教師ネットワークを用いる、特徴精錬による自己知識蒸留（FRSKD）という、新たな自己知識蒸留手法を提案する。この手法により、局所的な空間的情報を保持することで、画像分類およびセマンティックセグメンテーションの両タスクで性能向上が達成される。FRSKDは、複数のベンチマークで最先端の結果を達成しており、特にデータ拡張技術と組み合わせた場合に顕著な向上が見られる。

ABSTRACT

Knowledge distillation is a method of transferring the knowledge from a pretrained complex teacher model to a student model, so a smaller network can replace a large teacher network at the deployment stage. To reduce the necessity of training a large teacher model, the recent literatures introduced a self-knowledge distillation, which trains a student network progressively to distill its own knowledge without a pretrained teacher network. While Self-knowledge distillation is largely divided into a data augmentation based approach and an auxiliary network based approach, the data augmentation approach looses its local information in the augmentation process, which hinders its applicability to diverse vision tasks, such as semantic segmentation. Moreover, these knowledge distillation approaches do not receive the refined feature maps, which are prevalent in the object detection and semantic segmentation community. This paper proposes a novel self-knowledge distillation method, Feature Refinement via Self-Knowledge Distillation (FRSKD), which utilizes an auxiliary self-teacher network to transfer a refined knowledge for the classifier network. Our proposed method, FRSKD, can utilize both soft label and feature-map distillations for the self-knowledge distillation. Therefore, FRSKD can be applied to classification, and semantic segmentation, which emphasize preserving the local information. We demonstrate the effectiveness of FRSKD by enumerating its performance improvements in diverse tasks and benchmark datasets. The implemented code is available at https://github.com/MingiJi/FRSKD.

研究の動機と目的

• データ拡張による局所的な空間的情報の損失や、単純な補助ネットワークによる精錬知識の不足といった、従来の自己知識蒸留手法の限界を是正すること。
• 局所的な特徴詳細の保持を要する、セマンティックセグメンテーションのような視覚タスクにおける効果的な知識蒸留を可能にすること。
• 事前学習済み教師モデルに依存せずに、ソフトラベルと特徴マップの両方の蒸留を活用する自己知識蒸留フレームワークの開発。
• 専用の自己教師ネットワークが生成する精錬済み特徴マップとソフトラベルを通じて、モデル性能の向上を図ること。

提案手法

• オリジナルの分類器の特徴マップを処理し、学生分類器へ戻すための精錬済み特徴を生成する補助自己教師ネットワークを導入する。
• 特徴精錬と知識伝達を可能にするトップダウンおよびボトムアップの接続を持つ二重パスアーキテクチャを採用する。
• パrameter数を削減しながらも特徴精錬能力を維持できるように、自己教師ネットワークにおけるチャネル次元の調整を実施する。
• 学生ネットワークの訓練をガイドするため、ログティから得られるソフトラベル蒸留と、中間層からの特徴マップ蒸留の両方を適用する。
• 初期学習段階での干渉を回避するため、蒸留強度に適応的ハイパーパramータスケジューリング（ウォームアップと冷却）を組み込む。
• Mixup や Cutmix などのデータ拡張技術との互換性を確保し、精錬された特徴学習によってそれらの有効性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み教師モデルがなくても、自己教師ネットワークが特徴マップとソフトラベルを効果的に精錬し、学生ネットワークの性能向上を達成できるか。
• RQ2 セマンティックセグメンテーションのようなタスクにおいて、本手法のFRSKDは、データ拡張に基づく自己知識蒸留よりも局所的な空間的情報をより効果的に保持できるか。
• RQ3 ソフトラベルと特徴マップの両方の蒸留を統合することで、多様な視覚タスクにおける性能にどのような影響を与えるか。
• RQ4 Mixup や Cutmix といった標準的なデータ拡張技術と組み合わせた場合、FRSKDはどの程度性能を向上させるか。

主な発見

• FRSKDは、CIFAR-100 や TinyImageNet、FGVC といった画像分類ベンチマークで最先端の性能を達成し、既存の自己知識蒸留手法を上回っている。
• MIT67 データセットにおいて、ResNet18 を用いた FRSKD はベースラインモデルを上回る高い正確性を示しており、細分化分類において有効性が裏付けられている。
• データ拡張と組み合わせた場合、顕著な性能向上が見られる。例えば、CIFAR-100 および TinyImageNet において Mixup と Cutmix を適用した場合、正確性の向上が顕著に見られる。
• アブレーションスタディの結果、ソフトラベル蒸留と特徴マップ蒸留の両方が性能向上に寄与しており、特に特徴マップ蒸留が空間的詳細の保持に顕著に効果的であることが確認された。
• 感度分析の結果、FRSKD はハイパーパramータの変動に対して頑健であるが、最適値はデータセットによって異なる。α ∈ {1,2,3} および β ∈ {50,100,200,500} が強い結果をもたらした。
• 注意マップの定性的比較から、分類器および自己教師ネットワークが訓練を経るに従い、徐々に主要オブジェクトに注目するようになり、後期のエポックでは注目分布の乖離が小さくなっていることが明らかになった。