[論文レビュー] Large-Scale Generative Data-Free Distillation

Liangchen Luo, Mark Sandler+3 more|arXiv (Cornell University)|Dec 10, 2020

Advanced Neural Network Applications参考文献 54被引用数 28

ひとこと要約

この論文は、プライバシー、セキュリティ、またはストレージ制約により元の学習データにアクセスできない状況においても、事前学習済み教師ネットワークのバッチ正規化統計とログティスのみを用いて生成器を訓練する大規模なジェネレーティブなデータフリー蒸留法を提案する。この手法により、実際の学習データが不要な高品質な合成データ生成が可能となり、CIFAR-10で95.02%、CIFAR-100で77.02%の最先端性能を達成した。さらに、生成的手法において初めてImageNetへのスケーリングに成功した。

ABSTRACT

Knowledge distillation is one of the most popular and effective techniques for knowledge transfer, model compression and semi-supervised learning. Most existing distillation approaches require the access to original or augmented training samples. But this can be problematic in practice due to privacy, proprietary and availability concerns. Recent work has put forward some methods to tackle this problem, but they are either highly time-consuming or unable to scale to large datasets. To this end, we propose a new method to train a generative image model by leveraging the intrinsic normalization layers' statistics of the trained teacher network. This enables us to build an ensemble of generators without training data that can efficiently produce substitute inputs for subsequent distillation. The proposed method pushes forward the data-free distillation performance on CIFAR-10 and CIFAR-100 to 95.02% and 77.02% respectively. Furthermore, we are able to scale it to ImageNet dataset, which to the best of our knowledge, has never been done using generative models in a data-free setting.

研究の動機と目的

• プライバシーやセキュリティ、ストレージ制約により元の学習データにアクセスできない状況における知識蒸留の課題に対処すること。
• データフリーな状況下で高精細な合成データを効率的かつスケーラブルに生成する手法を開発すること。
• 従来の生成的手法では未解決のままであった、CIFAR-10やImageNetのような大規模データセットへのデータフリー蒸留の拡張を実現すること。
• 生成器の訓練において、モーメントマッチングとインセプション主義ベースの最適化目的関数を併用することで、蒸留性能を向上させること。

提案手法

• 事前学習済み教師ネットワークのバッチ正規化（BN）層の統計（平均μと分散σ²）のみを用いて生成器を訓練する。
• 生成画像のBN統計が実際の学習データの統計と一致するように、モーメントマッチング損失を最適化して生成器を最適化する。
• 生成画像に対して教師ネットワークのターゲットクラス予測確率を最大化するように、インセプション主義損失を適用する。
• 各クラスまたはグループごとの統計を用いて訓練された生成器のアンサンブルを用いることで、蒸留における多様性と性能を向上させる。
• 実データに依存しないように、教師ネットワークの内在的正規化統計を、球状ガウス分布の仮定に基づいて活用する。
• 両損失を統合した最適化目的関数を用いることで、実際のものに似た、クラス固有の合成画像を生成し、蒸留に適したデータを生成する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み教師ネットワークの内部統計のみを活用することで、実際の学習データが存在しない状況でも生成モデルを効果的に訓練できるか？
• RQ2 生成モデルを用いた場合、CIFAR-10やImageNetのような大規模データセットへのデータフリー蒸留はどの程度スケーラブルか？
• RQ3 1つの生成器ではなく、複数の生成器のアンサンブルを用いることで、蒸留性能にどのような影響を与えるか？
• RQ4 異なる学生アーキテクチャが、教師固有の生成器とどのように相互作用するか、蒸留精度に与える影響は？
• RQ5 提案手法が、CIFAR-10 や CIFAR-100 といった標準ベンチマークで、データフリーな状況下でも最先端性能を達成できるか？

主な発見

• 提案手法は、データフリー蒸留においてCIFAR-10で95.02%、CIFAR-100で77.02%の新たな最先端性能を達成し、従来手法を上回った。
• ImageNet（32×32）において1,000個の生成器のアンサンブルを用いることで、蒸留精度が51.82%に達し、教師ベースラインからわずか3.17%の差にとどまった。
• ResNet-50教師からResNet-50学生に蒸留する際、教師モデルとの性能差が5.70%まで縮小され、強力な知識伝達が実現した。
• 1つの生成器での訓練では、ImageNet 32×32で15.85%の低性能にとどまり、スケーラビリティを確保するにはアンサンブルの導入が不可欠であることが示された。
• 本手法により、生成的手法を用いたデータフリー蒸留がImageNetに成功した。著者らの知る限り、これは生成的手法を用いたデータフリー設定で初めて達成された。
• 1つの教師モデルで訓練された生成器は、他の教師-学生構成に一般化する能力に乏しく、万能な生成器設計の必要性が示唆された。