[論文レビュー] Progressive Network Grafting for Few-Shot Knowledge Distillation

Chengchao Shen, Xinchao Wang+4 more|arXiv (Cornell University)|Dec 9, 2020

Advanced Neural Network Applications被引用数 9

ひとこと要約

本論文は、少量のラベル付きデータで効率的な知識蒸留を実現するための二段階プログレッシブネットワークグラフト法を提案する。学生ネットワークのブロックを事前に訓練された教師ネットワークに段階的にグラフトし、同時に最適化することで、最小限のラベル付きデータで効果的な知識移行を可能にする。本手法は、CIFAR-10およびCIFAR-100で1クラスあたり1〜10サンプルの少量データを使用するだけで、フルデータセット知識蒸留と同等の性能を達成する。

ABSTRACT

Knowledge distillation has demonstrated encouraging performances in deep model compression. Most existing approaches, however, require massive labeled data to accomplish the knowledge transfer, making the model compression a cumbersome and costly process. In this paper, we investigate the practical few-shot knowledge distillation scenario, where we assume only a few samples without human annotations are available for each category. To this end, we introduce a principled dual-stage distillation scheme tailored for few-shot data. In the first step, we graft the student blocks one by one onto the teacher, and learn the parameters of the grafted block intertwined with those of the other teacher blocks. In the second step, the trained student blocks are progressively connected and then together grafted onto the teacher network, allowing the learned student blocks to adapt themselves to each other and eventually replace the teacher network. Experiments demonstrate that our approach, with only a few unlabeled samples, achieves gratifying results on CIFAR10, CIFAR100, and ILSVRC-2012. On CIFAR10 and CIFAR100, our performances are even on par with those of knowledge distillation schemes that utilize the full datasets. The source code is available at https://github.com/zju-vipa/NetGraft.

研究の動機と目的

• 知識蒸留におけるデータ不足問題に対処すること。既存手法は、効果的な学生ネットワークの訓練のため、大量のラベル付きデータを必要としている。
• 脆弱な事前/事後の前処理技術（例：ネットワークプルーニング）に依存しない、強固で原理的根拠のある蒸留フレームワークの開発。
• 各クラスあたり少数のラベルなしサンプルのみを用いて、教師ネットワークから学生ネットワークへの効果的な知識移行を可能にすること。
• ブロック単位のパラメータ最適化により、低データ環境における訓練効率の向上と過学習リスクの低減。

提案手法

• 本手法は二段階のプログレッシブグラフトプロセスを採用する：最初の段階では、学生のブロックを教師ネットワークの対応する位置にグラフトし、教師の重みを固定した状態で同時に最適化する。
• 第二段階では、事前に訓練済みの学生ブロックを段階的に教師ネットワークに接続・グラフトし、互いに適応できるようにする。
• 両段階において、学生の活性化出力を教師ネットワークのそれと一致させるための蒸留損失関数を用いて知識蒸留を実施する。
• 教師ネットワークの良好に訓練されたパラメータを活用することで、学生の有効なパラメータ探索空間を著しく縮小する。
• 学生ブロックは軽量モジュールとして初期化され、教師アーキテクチャに段階的に置き換えられ、最小限のデータで効率的なファインチューニングが可能になる。
• 本手法は部分的ネットワークグラフトをサポートしており、教師ネットワーク内の重いブロックを、より小さいネットワークからの軽量ブロックに置き換えることが可能である。

実験結果

リサーチクエスチョン

• RQ1 大量のラベル付きデータに依存せずに、各クラスあたり少数のラベルなしサンプルでの知識蒸留を効果的に行うことは可能か？
• RQ2 低データ環境下での一般化性能の向上と過学習の低減を図るため、学生ネットワークのパラメータ探索空間をどのように縮小できるか？
• RQ3 教師ネットワークに学生ブロックをプログレッシブにグラフトすることで、エンドツーエンド訓練に比べて訓練効率と性能が向上するか？
• RQ4 ブロック単位のグラフトによって訓練された学生ネットワークは、どの程度フルデータセット蒸留と同等の性能を達成できるか？

主な発見

• CIFAR-10およびCIFAR-100において、本手法は1クラスあたり1サンプルの極めて少量のデータでも、フルデータセット知識蒸留と同等のテスト精度を達成する。
• 10サンプル/クラスの条件下で、CIFAR-10では93.4%のトップ1精度、CIFAR-100では71.8%のトップ1精度を達成し、ベースライン手法と同等またはそれを上回る性能を示した。
• ブロック単位のグラフト戦略により、エンドツーエンド訓練と比較して、訓練精度とテスト精度の差が小さく抑えられ、過学習が抑制されていることが裏付けられた。
• ILSVRC-2012において、ResNet34のブロック3および4をResNet18のものに置き換えることで、パラメータ数を69.2%削減したが、10サンプル/クラスの条件下で精度低下はわずか1.65%にとどまった。
• 特に少量ショット設定下では、学生ネットワーク全体を一度に訓練するのと比較して、収束が早く、一般化性能も優れている。
• 部分的ネットワークグラフトは顕著なモデル圧縮の可能性を示しており、最大69.2%のモデルサイズ削減が可能であり、性能の低下は最小限に抑えられた。