[論文レビュー] MetaDistiller: Network Self-Boosting via Meta-Learned Top-Down Distillation

Benlin Liu, Yongming Rao+3 more|arXiv (Cornell University)|Aug 27, 2020

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 8

ひとこと要約

MetaDistiller は、中間層のためのより適合するソフトラベルを生成するメタ学習によるトップダウン蒸留法を提案する。別個の教師モデルを必要とせず、ResNet における精度を CIFAR-100 で最大 1.3%、ImageNet で 1.1% 向上させる。

ABSTRACT

Knowledge Distillation (KD) has been one of the most popu-lar methods to learn a compact model. However, it still suffers from highdemand in time and computational resources caused by sequential train-ing pipeline. Furthermore, the soft targets from deeper models do notoften serve as good cues for the shallower models due to the gap of com-patibility. In this work, we consider these two problems at the same time.Specifically, we propose that better soft targets with higher compatibil-ity can be generated by using a label generator to fuse the feature mapsfrom deeper stages in a top-down manner, and we can employ the meta-learning technique to optimize this label generator. Utilizing the softtargets learned from the intermediate feature maps of the model, we canachieve better self-boosting of the network in comparison with the state-of-the-art. The experiments are conducted on two standard classificationbenchmarks, namely CIFAR-100 and ILSVRC2012. We test various net-work architectures to show the generalizability of our MetaDistiller. Theexperiments results on two datasets strongly demonstrate the effective-ness of our method.

研究の動機と目的

• 逐次的な教師-学生蒸留パイプラインの非効率性と高い計算コストを解消すること。
• 知識蒸留における深層教師モデルと浅層学生ネットワークの間の適合性ギャップを克服すること。
• 最終層出力に依存するのではなく、より効果的で層特異的なソフトターゲットを生成することで自己蒸留を改善すること。
• 外部教師モデルや反復的誤差拡大を必要とせず、エンドツーエンドで自己強化可能な学習を可能にすること。

提案手法

• 深層の特徴マップをトップダウンの方法で統合することで、各中間層のためのソフトターゲットを生成するラベルジェネレータを導入する。
• バイレベルメタ学習を用いてラベルジェネレータを最適化し、各層の能力に適合するソフトターゲットを学習可能にする。
• 上位の意味的特徴が浅層の学習をガイドするトップダウン蒸留を実行する。
• 従来のKDとは異なり、温度などのハイパーパramータチューニングを必要とせず、ソフトターゲットを自動生成する。
• 推論時にはラベルジェネレータを破棄するため、推論効率が保たれる。
• ResNet18、ResNet50、ResNet101 を含むさまざまなバックボーンアーキテクチャにエンドツーエンドで適用可能である。

実験結果

リサーチクエスチョン

• RQ1 別個の教師モデルを必要とせず、蒸留性能を維持または向上させることは可能か？
• RQ2 浅層の表現能力に適合する、より適合するソフトターゲットをどのように生成できるか？
• RQ3 メタ学習を用いて、異なるネットワークの深さや層に自動的にソフトターゲット生成を適応させることは可能か？
• RQ4 深層特徴からのトップダウン蒸留は、最終層出力を利用する標準的な自己蒸留よりも一般化性能を向上させるか？
• RQ5 生成されたソフトターゲットは、1-of-K の真値ラベルを超えた補完的知識を提供するか？

主な発見

• CIFAR-100 における ResNet18 では、標準的な自己蒸留より 1.04%、ハードラベルのみの学習より 0.99% の精度向上を達成した。
• ImageNet では、標準的な自己蒸留より 1.1% の精度向上を達成し、ハードラベルのみの学習より 0.8% の向上を示した。
• CIFAR-100 における ResNet101 では、標準的な自己蒸留より 0.85%、ハードラベルのみの学習より 0.75% の精度向上を達成した。
• 生成されたソフトターゲットは、最終層出力よりも滑らかく、浅層に適合している。最終層出力は1-of-K分布に近い。
• 本手法はハードラベルおよび最終層ソフトラベルを上回る性能を示しており、分類のためのカテゴリカルな監視を超えた有用なインダクティブバイアスを含んでいることが示された。
• 可視化により、浅層のためのソフトターゲットは深層のものよりもより「やわらかく」なっていることが確認され、それらがより汎用的な特徴表現を反映していることが示された。