[論文レビュー] Knowledge Transfer via Dense Cross-Layer Mutual-Distillation

Anbang Yao, Dawei Sun|arXiv (Cornell University)|Aug 18, 2020

Domain Adaptation and Few-Shot Learning参考文献 58被引用数 4

ひとこと要約

本稿では、隠れ層に補助分類器を導入し、対応する層および非対応の層間で密な双方向の自己蒸留を実施する、Dense Cross-Layer Mutual-Distillation (DCM) を提案する。この手法は、最終モデルにパラメータを追加せずに表現学習と性能を向上させ、画像分類ベンチマークにおいて、従来の片方向および双方向KD手法を上回る性能を達成する。

ABSTRACT

Knowledge Distillation (KD) based methods adopt the one-way Knowledge Transfer (KT) scheme in which training a lower-capacity student network is guided by a pre-trained high-capacity teacher network. Recently, Deep Mutual Learning (DML) presented a two-way KT strategy, showing that the student network can be also helpful to improve the teacher network. In this paper, we propose Dense Cross-layer Mutual-distillation (DCM), an improved two-way KT method in which the teacher and student networks are trained collaboratively from scratch. To augment knowledge representation learning, well-designed auxiliary classifiers are added to certain hidden layers of both teacher and student networks. To boost KT performance, we introduce dense bidirectional KD operations between the layers appended with classifiers. After training, all auxiliary classifiers are discarded, and thus there are no extra parameters introduced to final models. We test our method on a variety of KT tasks, showing its superiorities over related methods. Code is available at https://github.com/sundw2014/DCM

研究の動機と目的

• 片方向知識蒸留の限界、すなわち事前学習済みかつ固定された教師ネットワークに依存する点を是正する。
• 学生および教師ネットワークの中間層に補助分類器を導入することで、知識表現学習を強化する。
• 対応する層および非対応の層間で双方向かつ密なクロスレイヤー蒸留を実施し、相互知識伝達を向上させる。
• 訓練後、最終モデルに追加パラメータを追加せずに優れた性能を達成する。
• 深層監視と相互蒸留を組み合わせた、教師・学生ネットワークの共同学習が、従来のKDやDMLよりも優れた一般化性能をもたらすことを実証する。

提案手法

• 学生および教師ネットワークの特定の隠れ層に補助分類器を追加し、深層監視を可能にするとともに、中間段階の監視信号を提供する。
• 学生および教師ネットワークの同じ段階および異なる段階の層間で、両方のネットワークからのソフトラベルを用いて、密な双方向知識蒸留を適用する。
• 補助分類器の確率的出力を活用して層間の知識を転送し、異なる段階の特徴間の意味的ギャップを低減する。
• 訓練終了後、補助分類器を削除することで、最終的な学生および教師モデルに追加パラメータが一切残らないようにする。
• 両ネットワークを同時に初期化から共同で学習させ、事前学習済み教師の必要性を排除し、交差エントロピー損失と蒸留損失を組み合わせたマルチブランチ損失関数を用いる。
• アーキテクチャは、ResNet-18/ResNet-50およびMobileNetV2バックボーンで評価され、特徴階層の整合性を保つために、戦略的なダウンサンプリング段階に補助分類器を配置する。

実験結果

リサーチクエスチョン

• RQ1 学生および教師ネットワークの中間層に補助分類器を導入することで、深層監視を実現し、二方向の知識伝達を向上させることができるか？
• RQ2 同じ段階および異なる段階の層間で密な双方向蒸留を実施することで、標準的な片方向または双方向KDと比較して、より優れた表現学習と性能が達成できるか？
• RQ3 事前学習済み固定教師に依存する手法と比較して、学生および教師ネットワークを同時に初期化から共同学習させることで、性能を向上させることができるか？
• RQ4 補助分類器の使用が、相互蒸留の過程で異なるネットワーク深さにおける知識の意味的整合性にどのように影響を与えるか？
• RQ5 本手法は、推論時の追加パラメータを追加せずに、学生と教師の性能差をどの程度縮小できるか？

主な発見

• DCMは、同等の設定下で、片方向KDおよび双方向DML手法を上回る、画像分類タスクにおける最先端の性能を達成する。
• 中間層に補助分類器を追加することで、知識表現学習が顕著に向上し、一般化性能の向上と収束速度の向上が見られた。
• 特に非対応層間における密なクロスレイヤー双方向蒸留により、意味的ギャップが低減され、ネットワーク間の特徴転送が強化された。
• CIFAR-100およびImageNetデータセットにおいて、事前学習済み教師を用いない状態でも、従来のKDベース手法を上回る高い精度向上を達成した。
• すべての補助分類器は訓練後に削除され、最終モデルに追加パラメータが一切ないため、リソース制約のあるデバイスへのデプロイに適している。
• アブレーションスタディにより、深層監視と双方向蒸留の両方が、本手法の成功に不可欠な要素であり、それぞれが独立して性能向上に寄与していることが確認された。