[論文レビュー] Dream Distillation: A Data-Independent Model Compression Framework

Kartikeya Bhardwaj, Naveen Suda+1 more|arXiv (Cornell University)|May 17, 2019

Generative Adversarial Networks and Image Synthesis参考文献 8被引用数 30

ひとこと要約

ドリームディスティルレーションは、事前学習された教師モデルの1層の特徴マップ活性化から合成学習データを生成するデータに依存しないモデル圧縮フレームワークを提案する。これにより、実際のデータや代替データセットを必要とせず、知識蒸留を可能にする。CIFAR-10で88.5%のトップ1精度を達成し、従来のデータフリー手法を大きく上回る性能を発揮する。

ABSTRACT

Model compression is eminently suited for deploying deep learning on IoT-devices. However, existing model compression techniques rely on access to the original or some alternate dataset. In this paper, we address the model compression problem when no real data is available, e.g., when data is private. To this end, we propose Dream Distillation, a data-independent model compression framework. Our experiments show that Dream Distillation can achieve 88.5% accuracy on the CIFAR-10 test set without actually training on the original data!

研究の動機と目的

• プライバシーまたは規制上の制約により、元のデータや代替データセットが入手できない状況におけるモデル圧縮の課題に対処すること。
• 元のデータセットの重要な特徴を保持する合成データを生成することで、データに依存しない環境でも効果的な知識蒸留を可能にすること。
• 教師ネットワークの1層のメタデータが、蒸留に適した高品質な合成データを生成するのに十分であることを示すこと。
• CIFAR-10のような複雑なデータセットで精度が著しく低下する、マルチレイヤーのメタデータを必要とするか、あるいは性能に劣る従来のデータフリー蒸留手法を上回ること。

提案手法

• 教師モデルの1つの中間層の平均プーリング出力を、少量のメタデータとして使用し、合成画像生成をガイドする。
• 選択された層からの特徴マップに主成分分析（PCA）を適用し、主要なパターンを抽出し、潜在ベクトルとして表現する。
• PCAで表現された特徴をクラスタリングし、各クラスタをクラスまたは意味的グループに対応させる。各クラスタに対して1つの合成画像を生成する。
• 各合成画像を、教師ネットワークにおける対応するクラスタの代表ベクトルの活性化を最大化する目的関数に基づいて最適化し、Adam最適化を用いる。
• 教師モデルがソフトラベルを提供するように、生成された合成画像を入力として使用し、学生モデルを知識蒸留によって訓練する。
• 複数の主成分（例：1クラスタあたりm=50）を用いて各クラスタの画像を生成し、合計50,000枚の合成画像を最適化することで、生成画像の多様性を確保する。

実験結果

リサーチクエスチョン

• RQ1 実際のデータや代替データセットへのアクセスが全くない状況でも、知識蒸留を効果的に行うことは可能か？
• RQ2 1層の特徴表現から得られるメタデータから、蒸留に十分な意味的情報を保持する合成データを生成することは可能か？
• RQ3 CIFAR-10のような複雑なデータセットにおいて、データに依存しない蒸留の性能は、標準的な蒸留法やデータフリーのベースラインと比べてどうなるか？
• RQ4 マルチレイヤーのメタデータと比較して、1層のメタデータ表現のみを用いる場合、蒸留精度にどのような影響があるか？
• RQ5 クラスタリングに基づく特徴再構成による合成画像は、学生モデルに意味のある知識を効果的に転送できるか？

主な発見

• ドリームディスティルレーションは、実データを一切使用せずにCIFAR-10テストセットで88.5%のトップ1精度を達成し、合成データを介した効果的な知識転送を実証した。
• 従来の最先端のデータフリー蒸留フレームワーク（DFKD）はMNISTで68–77%の精度にとどまり、CIFAR-10ではさらに性能が劣るが、ドリームディスティルレーションはその大幅な上回りを達成した。
• ドリームディスティルレーションで生成された合成画像を用いて訓練された学生モデルは約80%の精度に達し、CIFAR-100を代替データセットとして使用したモデルと同等の性能を示し、実CIFAR-10データで学習したモデルと比べて約10%低い精度であった。
• WRN40-4の学生モデルは、ドリームディスティルレーションを用いて88.5%の精度を達成したが、教師モデルなしで合成データのみで学習した場合、精度はたったの44%にとどまり、教師モデルが知識転送に果たす役割を明確に示している。
• クラスタリングに基づく画像生成手法により、多様で意味的に意味のある合成画像（例：車のホイール、猫の縞模様）が生成された。これらは現実的ではないが、クラス判別特徴を効果的に保持するのに寄与した。
• 1層のメタデータのみを用いても高い性能を達成したため、効果的なデータに依存しない蒸留にはマルチレイヤーのメタデータは必須でないことが証明された。