[論文レビュー] Distilling Knowledge via Knowledge Review

Pengguang Chen, Shu Liu+2 more|arXiv (Cornell University)|Apr 19, 2021

Advanced Neural Network Applications参考文献 23被引用数 11

ひとこと要約

本論文は、教師ネットワークのマルチレベル・クロスステージ特徴を用いて、学生ネットワークのより深い層を監視することで、学生ネットワークの性能を向上させる、新規の知識蒸留フレームワーク「Knowledge Review」を提案する。残差学習フレームワーク、アテンションベースの統合、階層的コンテキスト損失を導入することで、計算コストを最小限に抑えつつ、画像分類、オブジェクト検出、インスタンスセグメンテーションの分野で最先端の結果を達成した。

ABSTRACT

Knowledge distillation transfers knowledge from the teacher network to the student one, with the goal of greatly improving the performance of the student network. Previous methods mostly focus on proposing feature transformation and loss functions between the same level's features to improve the effectiveness. We differently study the factor of connection path cross levels between teacher and student networks, and reveal its great importance. For the first time in knowledge distillation, cross-stage connection paths are proposed. Our new review mechanism is effective and structurally simple. Our finally designed nested and compact framework requires negligible computation overhead, and outperforms other methods on a variety of tasks. We apply our method to classification, object detection, and instance segmentation tasks. All of them witness significant student network performance improvement. Code is available at https://github.com/Jia-Research-Lab/ReviewKD

研究の動機と目的

• 既存の知識蒸留手法が同じネットワークステージ内での知識伝達に限定されているという制限を解消すること。
• 教師ネットワークと学生ネットワークの間のクロスステージ接続が知識蒸留において有効であるかを調査すること。
• 低レベルの教師特徴を活用して、より深い学生層をガイドすることで、シンプルでありながら効果的なフレームワークを設計すること。
• 推論コストを増加させることなく、画像分類、オブジェクト検出、インスタンスセグメンテーションといった多様なビジョンタスクにおける学生ネットワークの性能を向上させること。

提案手法

• 同一の学生層を複数の教師ネットワーク層から監視することで、クロスステージ知識伝達を可能にする「知識レビュー」メカニズムを提案する。
• 訓練の安定化と特徴の精錬向上を図るために、残差学習フレームワークを導入する。
• 各学生層に対してマルチレベルの教師特徴を効果的に統合するためのアテンションベースの統合（ABF）モジュールを設計する。
• 蒸留中に異なる段階における構造的・意味的コンテキストを保持するため、階層的コンテキスト損失（HCL）関数を採用する。
• 教師および学生ネットワークの段階ごとの特徴出力を使用し、各層の特徴抽出を回避することで、計算効率を維持する。
• ResNets、MobileNet、Mask R-CNNを含む多様なアーキテクチャおよびタスクにこのフレームワークを適用し、一貫した性能向上を達成した。

実験結果

リサーチクエスチョン

• RQ1 低レベルの教師特徴を用いて、より深い学生層にクロスステージの知識伝達を施すことで、知識蒸留における学生の性能向上が図れるか？
• RQ2 同じレベルの監視に依存する既存手法が性能を発揮できない理由は何か？また、それらが直面する構造的制限とは何か？
• RQ3 マルチレベルの教師特徴を効果的に統合・利用するには、どのようにすればよいか？
• RQ4 知識レビューのプロセスを安定化・強化するために必要なアーキテクチャ的要素は何か？
• RQ5 提案手法は、画像分類、検出、インスタンスセグメンテーションといった多様なビジョンタスクに一般化可能か？

主な発見

• 知識レビュー機構により、評価されたすべてのタスクで学生の性能が顕著に向上し、MobileNetV2を用いたインスタンスセグメンテーションでは最大3.19%の精度向上を達成した。
• 教師の低レベル特徴を用いて深い学生層を監視することで、同じレベルの監視に比べて優れた結果が得られ、教師ステージ1から学生ステージ4に蒸留する際が最も高い性能を示した。
• アブレーションスタディにより、レビュー機構、残差学習、ABF、HCLの各要素が段階的に寄与しており、フルモデルではCIFAR-100で76.2%の精度を達成し、教師の75.8%を上回った。
• ResNet50とResNet18間の蒸留において、教師と学生の性能差を最大51%まで縮小した。
• 計算コストをほとんど増加させることなく、画像分類、オブジェクト検出、インスタンスセグメンテーションの分野で最先端の性能を達成した。
• 階層的コンテキスト損失とアテンションベースの統合は、マルチスケールのコンテキストを保持し、段階間の特徴アライメントを向上させる上で不可欠である。