[論文レビュー] Knowledge Distillation from Few Samples

Tianhong Li, Jianguo Li+2 more|arXiv (Cornell University)|Sep 27, 2018

Advanced Neural Network Applications被引用数 11

ひとこと要約

本稿では、教師から生徒ネットワークへの効率的な知識伝達を可能にする、新しい知識蒸留法を提案する。教師と生徒ネットワークの特徴マップを一致させるために、生徒ネットワークの各ブロックに学習可能な1x1畳み込み層を追加し、限られたデータで最適化することで、計算コストを増加させることなく、元の層に統合可能な特徴マップの一致を実現する。この方法により、最小限のデータで優れた性能が達成される。

ABSTRACT

Current knowledge distillation methods require full training data to distill knowledge from a large teacher network to a compact student network by matching certain statistics between teacher and student such as softmax outputs and feature responses. This is not only time-consuming but also inconsistent with human cognition in which children can learn knowledge from adults with few examples. This paper proposes a novel and simple method for knowledge distillation from few samples. Taking the assumption that both teacher and student have the same feature map sizes at each corresponding block, we add a 1x1 conv-layer at the end of each block in the student-net, and align the block-level outputs between teacher and student by estimating the parameters of the added layer with limited samples. We prove that the added layer can be absorbed/merged into the previous conv-layer to formulate a new conv-layer with the same size of parameters and computation cost as the previous one. Experiments verify that the proposed method is very efficient and effective to distill knowledge from teacher-net to student-net constructing in different ways on various datasets.

研究の動機と目的

• 完全な訓練データを必要とする従来の知識蒸留法の非効率性を解消すること。
• 教師から生徒ネットワークへの知識伝達を、少数の訓練サンプルのみで可能にし、人間の類似した少データ学習に近い動作を実現すること。
• 蒸留後も元の生徒ネットワークと同一のモデルサイズと計算コストを維持する方法を開発すること。
• 追加された1x1層が、パrameter数やFLOPsを増加させずに、既存の畳み込み層に吸収可能であることを数学的に証明すること。
• 限られたデータを用いて、多様なアーキテクチャとデータセットでこの手法の有効性を検証すること。

提案手法

• 生徒ネットワークの各ブロックの終端に1x1畳み込み層を導入し、対応する教師ネットワークのブロックの特徴マップと一致させる。
• 訓練データから少数のラベル付きサンプルのみを用いて、これらの1x1層のパラメータを最適化する。
• 各ブロックにおける教師ネットワークと生徒ネットワークの出力特徴マップの差を最小化する損失関数を用いる。
• 数学的に、追加された1x1層が前の畳み込み層に吸収可能であることを証明し、モデルサイズと計算コストを維持することを保証する。
• エンドツーエンドで1x1層を含めた生徒ネットワークを訓練し、推論時にはそれらを前の層に統合する。
• 蒸留プロセスが、元の生徒ネットワークと同一のパrameter数とFLOPsを維持することを保証する。

実験結果

リサーチクエスチョン

• RQ1 完全なデータセットではなく、少数の訓練サンプルでのみ知識蒸留を効果的に行うことは可能か？
• RQ2 限られたデータで、教師と生徒ネットワーク間の特徴マップを効率的に一致させる方法は何か？
• RQ3 モデルの複雑さを増加させずに、1x1畳み込み層を追加し、その後で既存の生徒ネットワーク層に統合することは可能か？
• RQ4 提案手法は、限られたデータを用いて、異なるネットワークアーキテクチャとデータセットに一般化可能か？
• RQ5 高い精度を達成しつつ、モデル効率を維持する蒸留プロセスは可能か？

主な発見

• 提案手法は、少数の訓練サンプルでのみ強力な知識蒸留性能を達成し、データ依存性を顕著に低減する。
• 追加された1x1畳み込み層は、数学的に前の畳み込み層に吸収可能であり、元のモデルのパrameter数とFLOPsを維持する。
• 本手法は、複数のデータセットで、さまざまな生徒・教師ネットワークアーキテクチャに有効である。
• 実験により、限られたデータでも蒸留プロセスが生徒ネットワークの精度向上に寄与することが示された。
• 本手法は、人間の類似した少データ学習に近い、効率的で低データの知識伝達を可能にする。