[論文レビュー] Self-Knowledge Distillation with Progressive Refinement of Targets

Kyungyul Kim, Byeongmoon Ji+2 more|arXiv (Cornell University)|Jun 22, 2020

Advanced Neural Network Applications参考文献 50被引用数 16

ひとこと要約

本稿では、一般化性能の向上を図るために、過去のモデル予測を用いてハードな one-hot ラベルを段階的にソフト化する正則化手法であるプログレッシブ自己知識蒸留（PS-KD）を提案する。モデル自身の過去の出力を教師として扱うことで、PS-KD は暗黙的にハードな例のマイニングを実行し、画像分類、物体検出、機械翻訳のタスクにおいて、精度、キャリブレーション、順序ランクの向上を実現する。

ABSTRACT

The generalization capability of deep neural networks has been substantially improved by applying a wide spectrum of regularization methods, e.g., restricting function space, injecting randomness during training, augmenting data, etc. In this work, we propose a simple yet effective regularization method named progressive self-knowledge distillation (PS-KD), which progressively distills a model's own knowledge to soften hard targets (i.e., one-hot vectors) during training. Hence, it can be interpreted within a framework of knowledge distillation as a student becomes a teacher itself. Specifically, targets are adjusted adaptively by combining the ground-truth and past predictions from the model itself. We show that PS-KD provides an effect of hard example mining by rescaling gradients according to difficulty in classifying examples. The proposed method is applicable to any supervised learning tasks with hard targets and can be easily combined with existing regularization methods to further enhance the generalization performance. Furthermore, it is confirmed that PS-KD achieves not only better accuracy, but also provides high quality of confidence estimates in terms of calibration as well as ordinal ranking. Extensive experimental results on three different tasks, image classification, object detection, and machine translation, demonstrate that our method consistently improves the performance of the state-of-the-art baselines. The code is available at https://github.com/lgcnsai/PS-KD-Pytorch.

研究の動機と目的

• ハード one-hot ラベルで学習された深層ニューラルネットワークの過信問題と一般化性能の低さを是正する。
• 外部データや複雑なアーキテクチャに依存せずに、モデルのキャリブレーションとロバスト性を向上させる。
• ハードターゲットを伴う任意の教師付き学習タスクに適用可能な、シンプルで即時利用可能な正則化技術を開発する。
• 適応的ラベルスムージングにより、信頼度推定と誤分類検出を改善する。
• 画像分類、物体検出、機械翻訳を含む多様なタスクで一貫した性能向上を実証する。

提案手法

• 各訓練エポックにおいて、前エポックのモデル自身の予測結果をソフトターゲット（すなわち教師）として用い、現在の学生モデルをガイドする。
• ソフトターゲットは、真の one-hot ラベルと過去の予測の線形結合として計算される：$ y_{\text{soft}} = (1 - \alpha) \cdot y_{\text{hard}} + \alpha \cdot y_{\text{past}} $、ここで $ \alpha $ は徐々に減少する係数である。
• モデル自身の進化する知識を組み込むことで、ターゲットを段階的に精錬し、適応的ラベルスムージングを実現する。
• 予測の難易度に応じた勾配スケーリングが行われ、訓練中にハードな例が暗黙的に強調される。
• ラベルスムージング、CutMix、データオーグメンテーションなどの既存の正則化技術と互換性がある。
• 計算オーバーヘッドが最小限であり、任意の PyTorch ベースの訓練パイプラインに容易に統合可能である。

実験結果

リサーチクエスチョン

• RQ1 モデル自身の過去の予測を用いて、より情報量の多いソフトターゲットを効果的に生成し、一般化性能を向上させることができるか？
• RQ2 勾配スケーリングに基づくプログレッシブ自己知識蒸留は、ハードな例のマイニングを暗黙的に実行するか？
• RQ3 PS-KD は画像分類、物体検出、機械翻訳といった多様なタスクにおいて、予測精度と信頼度キャリブレーションの両方を向上させることができるか？
• RQ4 PS-KD はラベルスムージングや他の知識蒸留手法と比較して、性能とロバスト性において優れているか？
• RQ5 PS-KD は高度なデータオーグメンテーション技術と組み合わせることで、さらにモデルの一般化性能を向上させることができるか？

主な発見

• CIFAR-100 および ImageNet において、PS-KD は標準学習より最大 1.2%、ラベルスムージングより 0.8% のトップ-1精度向上を達成した。
• PASCAL VOC における物体検出では、PS-KD により mAP が ResNet-152 の 78.26% から 79.50% に上昇し、ベースライン比 1.24% の相対的改善を達成した。
• CutMix と組み合わせた場合、PS-KD は 79.72% の mAP を達成し、PS-KD 単体や LS と比較して優れた性能を示した。
• 機械翻訳（IWSLT15 EN-DE）では、PS-KD が BLEU スコア 30.0 を達成し、ベースラインの Transformer（28.5）と LS（29.3）を上回った。
• PS-KD は信頼度キャリブレーションと順序ランク性能を向上させ、不確実性推定と誤分類検出の質が向上していることを示した。
• 本手法は、アーキテクチャの変更や複雑な修正を加えずに、全評価タスクで最先端モデルの性能を一貫して向上させた。