[論文レビュー] Data-Free Learning of Student Networks

Hanting Chen, Yunhe Wang+7 more|arXiv (Cornell University)|Apr 2, 2019

Advanced Neural Network Applications参考文献 30被引用数 6

ひとこと要約

本稿では、実際の訓練データにアクセスできない状況下で、事前学習済みの教師ネットワークから生成されたデータを用いて、コンパクトな学生ニューラルネットワークを訓練する新しいフレームワークであるData-Free Learning（DAFL）を提案する。教師ネットワークは固定された識別器として機能し、生成器は教師の活性化を最大化するように合成画像を生成する。これにより知識蒸留が可能となり、CIFAR-10では92.22%、CIFAR-100では74.47%の精度を達成する。

ABSTRACT

Learning portable neural networks is very essential for computer vision for the purpose that pre-trained heavy deep models can be well applied on edge devices such as mobile phones and micro sensors. Most existing deep neural network compression and speed-up methods are very effective for training compact deep models, when we can directly access the training dataset. However, training data for the given deep network are often unavailable due to some practice problems (e.g. privacy, legal issue, and transmission), and the architecture of the given network are also unknown except some interfaces. To this end, we propose a novel framework for training efficient deep neural networks by exploiting generative adversarial networks (GANs). To be specific, the pre-trained teacher networks are regarded as a fixed discriminator and the generator is utilized for derivating training samples which can obtain the maximum response on the discriminator. Then, an efficient network with smaller model size and computational complexity is trained using the generated data and the teacher network, simultaneously. Efficient student networks learned using the proposed Data-Free Learning (DAFL) method achieve 92.22% and 74.47% accuracies using ResNet-18 without any training data on the CIFAR-10 and CIFAR-100 datasets, respectively. Meanwhile, our student network obtains an 80.56% accuracy on the CelebA benchmark.

研究の動機と目的

• プライバシー、法的制約、または伝送制約により、実際の訓練データが入手できない状況下で、コンパクトで効率的なニューラルネットワークを訓練する課題に対処すること。
• 実際の訓練データや事前学習済み教師ネットワークのアーキテクチャが入手できない状況でも、知識蒸留を可能にすること。
• 事前学習済みモデルの内部表現から、現実的で実用的な訓練データを合成し、より小型でポータブルな学生ネットワークを訓練する手法を開発すること。
• 実際の訓練データに依存せず、教師ネットワークの特徴応答から生成された合成データのみを用いて、ベンチマークデータセットで高い精度を達成すること。

提案手法

• 事前学習済みの教師ネットワークを固定された識別器として扱い、生成器ネットワークを訓練して、教師の出力活性化を最大化する合成画像を生成する。
• 生成器は敵対的プロセスを経て訓練され、教師ネットワークが自信を持って分類するような画像を学習し、実際のデータ分布を模倣する。
• 学生ネットワークは、生成された合成画像と教師ネットワークからの知識蒸留を用いて訓練され、ソフトラベルおよび中間特徴に基づく損失関数が使用される。
• オリジナルのデータセットの入力分布に一致する高精細な画像を生成するために、特に代替DCGANアーキテクチャを用いた変更されたGAN設定が採用される。
• 潜在ベクトル次元や学習率などのハイパーパrameterは、各データセットに合わせて調整され、生成器はエンドツーエンドで訓練され、元のデータ多様体を近似する。
• 本手法は、元の訓練データ、モデルアーキテクチャ、パラメータへのアクセスを一切不要とし、教師ネットワークの入力/出力インターフェースのみを必要とする。

実験結果

リサーチクエスチョン

• RQ1 実際の訓練データが一切存在しない状況下で、事前学習済み教師ネットワークの推論挙動のみを活用して、学生ニューラルネットワークを効果的に訓練できるか？
• RQ2 教師ネットワークの出力のみにアクセス可能な状況で、GANベースの生成器が元のデータ分布をどの程度正確に近似できるか？
• RQ3 教師ネットワークからの知識蒸留と合成データの組み合わせによって、実際のデータで訓練した場合と同等の性能を達成できるか、その程度はいかほどか？
• RQ4 MNIST、CIFAR-10、CIFAR-100、CelebAなど、複雑さの異なる多様なデータセットにおいて、本手法はどの程度の性能を示すか？

主な発見

• 提案されたDAFL手法は、教師ネットワークから生成された合成データのみを用いて、CIFAR-10で92.22%のトップ1精度を達成した。
• CIFAR-100では、学生ネットワークが74.47%の精度に達し、メタデータやランダムノイズに依存するベースライン手法を顕著に上回った。
• CelebAデータセットでは、学生ネットワークが生成画像のみを用いて80.56%の精度を達成し、教師ネットワークの81.59%に非常に近い性能を示した。
• 教師ネットワークと同一のアーキテクチャを用いた学生ネットワークの訓練では、MNISTでLeNet-5を用いて98.91%、HintonNetを用いて98.39%の精度を達成し、教師の性能に非常に近い結果を得た。
• 本手法はデータセット間で良好に一般化される：CIFAR-10とCIFAR-100では、教師と同じアーキテクチャを用いた学生ネットワークが、それぞれ93.21%および75.32%の精度を達成した。
• 広範なアブレーション実験の結果、実際のデータ、通常のノイズ、またはMNISTデータを用いた訓練は、本手法のGANベースの合成データに比べて著しく劣る結果を示し、データ生成戦略の有効性を裏付けた。