[論文レビュー] Decoupled Knowledge Distillation

Borui Zhao, Quan Cui+3 more|arXiv (Cornell University)|Mar 16, 2022

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、古典的KDの限界を克服するため、ターゲットクラス知識蒸留（TCKD）とノンターゲットクラス知識蒸留（NCKD）を分離する新しいログイットベースの蒸留手法であるデカップルド・ナレッジディスティルレーション（DKD）を提案する。これらのコンポONENTを分離することにより、DKDは画像分類およびオブジェクト検出タスクにおける訓練効率と性能を向上させ、最小限の計算コストで複雑な特徴ベース手法と同等の最先端の結果を達成する。

ABSTRACT

State-of-the-art distillation methods are mainly based on distilling deep features from intermediate layers, while the significance of logit distillation is greatly overlooked. To provide a novel viewpoint to study logit distillation, we reformulate the classical KD loss into two parts, i.e., target class knowledge distillation (TCKD) and non-target class knowledge distillation (NCKD). We empirically investigate and prove the effects of the two parts: TCKD transfers knowledge concerning the "difficulty" of training samples, while NCKD is the prominent reason why logit distillation works. More importantly, we reveal that the classical KD loss is a coupled formulation, which (1) suppresses the effectiveness of NCKD and (2) limits the flexibility to balance these two parts. To address these issues, we present Decoupled Knowledge Distillation (DKD), enabling TCKD and NCKD to play their roles more efficiently and flexibly. Compared with complex feature-based methods, our DKD achieves comparable or even better results and has better training efficiency on CIFAR-100, ImageNet, and MS-COCO datasets for image classification and object detection tasks. This paper proves the great potential of logit distillation, and we hope it will be helpful for future research. The code is available at https://github.com/megvii-research/mdistiller.

研究の動機と目的

• ログイット蒸留が計算コストが低いにもかかわらず、なぜ特徴ベース蒸留に比べて性能が劣るのかを調査すること。
• ログイット蒸留におけるターゲットクラス知識とノンターゲットクラス知識の異なる役割を分析すること。
• 古典的KD損失におけるカップリングが、知識伝達の効果性と柔軟性を制限する主な要因であることを同定すること。
• TCKDとNCKDの独立最適化を可能にするデカップリングフレームワークを提案し、蒸留性能と効率を向上させること。
• DKDが画像分類およびオブジェクト検出ベンチマークにおいて、訓練速度、モデル一般化、および移譲可能性の面で優位性を示すことを検証すること。

提案手法

• 古典的KD損失を2つのコンponentsに再定式化：ターゲットクラス知識蒸留（TCKD）とノンターゲットクラス知識蒸留（NCKD）、これにより独立した分析が可能になる。
• NCKD損失を教師のターゲットクラスに対する信頼度からデカップリングする。係数 $1 - p_t^{ au}$ を学習可能な定数 $\beta$ に置き換えることで、良好に予測されたサンプルにおけるNCKDの抑制を解消する。
• TCKDの寄与度を制御するための学習可能なハイパーパramータ $\alpha$ を導入し、難易度に応じた知識伝達とクラス間対比知識伝達の柔軟なバランスを可能にする。
• DKDを訓練中の学生ネットワークに適用し、教師および学生のログイットのみを用いる。中間特徴の抽出や保存にかかる高コストを回避する。
• t-SNEと相関行列の可視化を用いて、KDとDKDの間での特徴の識別性とログイット類似度を比較する。
• CIFAR-100、ImageNet、MS-COCOでアブレーションスタディを実施し、性能、訓練効率、特徴の移譲可能性を評価する。

(a) Classical Knowledge Distillation (KD).

実験結果

リサーチクエスチョン

• RQ1 ログイット蒸留におけるターゲットクラス知識蒸留（TCKD）とノンターゲットクラス知識蒸留（NCKD）のそれぞれの寄与度は何か？
• RQ2 ログイットの意味的豊かさにもかかわらず、なぜ古典的ナレッジディスティルレーションは性能が劣るのか？
• RQ3 NCKDと教師のターゲットクラスに対する信頼度のカップリングが、なぜ知識伝達の効果性を抑制するのか？
• RQ4 TCKDとNCKDをデカップリングすることで、中間特徴蒸留に依存せずに蒸留性能と訓練効率を向上させられるか？
• RQ5 大規模モデルにおけるNCKDの抑制を軽減することで、DKDは「教師が大きいほど性能が悪い」というパラドックスを緩和できるか？

主な発見

• ノンターゲットクラス知識蒸留（NCKD）がログイット蒸留における性能向上の主因である。NCKDのみを用いたモデルは、古典的KDと同等またはそれ以上の性能を達成する。
• 古典的KDはNCKDを教師のターゲットクラスに対する信頼度とカップリングしているため、良好に予測されたサンプル（知識が最も信頼できる状態）においてNCKDが抑制され、結果として蒸留効果が制限される。
• CIFAR-100では、ResNet8×4学生とResNet32×4教師を用いてDKDが76.45%のトップ-1精度を達成し、KD（75.04%）を上回り、優れた訓練効率を示す。
• ImageNetでは、ResNet50教師とWRN-16-2学生を用いてDKDが76.60%のトップ-1精度を達成し、KD（75.36%）を上回り、下流タスクにおける特徴移譲可能性も向上している。
• DKDは特徴移譲可能性を向上させる：STL-10とTiny-ImageNetにおける線形プローブでは、DKDはそれぞれ72.9%および37.1%の精度を達成し、KD（70.9%および33.9%）を上回る。
• 可視化結果から、DKDはより分離可能な特徴（t-SNE）を生成し、学生のログイットが教師のログイットとよりよく一致する（相関行列）ことが確認され、優れた知識伝達が実現していることが示唆される。

(b) Decoupled Knowledge Distillation (DKD).