[論文レビュー] Data-Free Knowledge Distillation with Soft Targeted Transfer Set Synthesis

Zi Wang|arXiv (Cornell University)|Apr 10, 2021

Advanced Neural Network Applications参考文献 37被引用数 4

ひとこと要約

本論文は、教師ネットワークの中間特徴空間を多変量正規分布でモデル化することで、高品質な疑似トレーニングサンプルを合成し、ノイズ最適化のためのソフトターゲットを生成するデータフリー知識蒸留法を提案する。この手法は、元のトレーニングデータを一切使用せずに、MNISTで99.08%、CIFAR-10で93.31%のSOTA性能を達成し、浅い層からのより一般化性に富んだ、ラベル不一致に強いソフトターゲットを活用することで、先行するデータフリーKD手法を上回る。

ABSTRACT

Knowledge distillation (KD) has proved to be an effective approach for deep neural network compression, which learns a compact network (student) by transferring the knowledge from a pre-trained, over-parameterized network (teacher). In traditional KD, the transferred knowledge is usually obtained by feeding training samples to the teacher network to obtain the class probabilities. However, the original training dataset is not always available due to storage costs or privacy issues. In this study, we propose a novel data-free KD approach by modeling the intermediate feature space of the teacher with a multivariate normal distribution and leveraging the soft targeted labels generated by the distribution to synthesize pseudo samples as the transfer set. Several student networks trained with these synthesized transfer sets present competitive performance compared to the networks trained with the original training set and other data-free KD approaches.

研究の動機と目的

• プライバシーまたはストレージ制約により元のトレーニングデータが利用できない状況における知識蒸留の課題に対処すること。
• 直接的にソフトマックス出力をモデル化するのではなく、中間特徴表現をモデル化することで、データフリーKDにおける合成転送セットの品質を向上させること。
• ソフトマックス空間にディリクレ分布を適用する従来手法で見られるラベル不一致問題を軽減すること。
• 浅い高レベル特徴空間から得られるより一般化されたソフトターゲットを通じて、学生ネットワークの性能を向上させること。
• 提案手法の有効性を複数のアーキテクチャおよびベンチマークデータセットを用いて検証すること。

提案手法

• 教師ネットワークの中間層（例：FC-2）の出力を多変量正規分布でモデル化し、特徴分布を捉える。
• この多変量正規分布からソフトターゲットラベルをサンプリングし、疑似トレーニング画像の合成をガイドする。
• バックプロパゲーションを用いて、ノイズ入力を最適化し、教師のノイズ入力に対するフォワードパスとサンプリングされたソフトターゲットとの距離を最小化する。
• 最適化された疑似サンプルを、標準的な知識蒸留と蒸留損失を用いて学生ネットワークを訓練するための転送セットとして使用する。
• より高いニューロン活性化を促進するため、追加の活性化損失を組み込む。
• t-SNE可視化を用いて、多変量正規分布とディリクレ分布から生成されたソフトターゲットのクラスタリング品質を比較する。

実験結果

リサーチクエスチョン

• RQ1 教師ネットワークの中間特徴空間を多変量正規分布でモデル化することで、データフリーKDにおける合成疑似サンプルの品質が向上するか？
• RQ2 最終ソフトマックス層ではなく、浅い特徴層からのソフトターゲットを使用することで、学生モデルの一般化性能と性能が向上するか？
• RQ3 従来手法（例：ソフトマックス出力にディリクレ分布を適用）におけるラベル不一致問題は性能にどのように影響するか？また、これを緩和できるか？
• RQ4 活性化損失を追加することで、疑似サンプルの最適化および最終的な学生モデルの精度がどの程度向上するか？
• RQ5 提案手法は、異なるデータセットおよびアーキテクチャにおいて、既存のデータフリーKD手法と比較して、精度および頑健性の面でどの程度優れているか？

主な発見

• 提案手法は、元のトレーニングデータを一切使用せず、教師ネットワークのみを用いてMNISTで99.08%、CIFAR-10で93.31%のテスト精度を達成し、既存のデータフリーKD手法を上回った。
• 最終全結合層（FC-2）の特徴空間をモデル化することで、LeNet-5-HALFでは0.12%、AlexNet-HALFでは1.59%の学生精度向上が達成された。
• 多変量正規分布はディリクレ分布よりも一貫性があり、より明確に分離されたソフトターゲットを生成し、クラスごとのサンプリングによる不整合を回避することでラベル不一致問題を軽減した。
• 活性化損失の導入により性能がさらに向上したが、特徴空間のモデル化による向上効果に比べて小さいため、特徴空間モデリングが主な要因であることが示された。
• t-SNE可視化により、多変量正規分布から生成されたソフトターゲットはディリクレ分布よりも明確で分離性の高いクラスタを形成しており、より良いサンプル合成を支持する。
• 本手法は複数のアーキテクチャおよびデータセットで一貫した性能向上を示し、データフリーKD設定における汎用性と頑健性を検証した。