[論文レビュー] Model Compression with Generative Adversarial Networks

Ruishan Liu, Nicolò Fusi+1 more|arXiv (Cornell University)|Sep 27, 2018

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 6

ひとこと要約

本稿では、生成的対抗ネットワークを用いて高品質なトレーニングデータを合成することで、大規模な教師モデルから知識蒸留を行う際の学生モデルの精度を向上させる、モデル圧縮フレームワーク GAN-MC を提案する。実データに GAN で生成されたサンプルを追加することで、データの多様性と識別可能性が向上し、実データのみを用いたベースラインの蒸留法に比べて優れた圧縮性能が得られる。

ABSTRACT

More accurate machine learning models often demand more computation and memory at test time, making them difficult to deploy on CPU- or memory-constrained devices. Model compression (also known as distillation) alleviates this burden by training a less expensive student model to mimic the expensive teacher model while maintaining most of the original accuracy. However, when fresh data is unavailable for the compression task, the teacher’s training data is typically reused, leading to suboptimal compression. In this work, we propose to augment the compression dataset with synthetic data from a generative adversarial network (GAN) designed to approximate the training data distribution. Our GAN-assisted model compression (GAN-MC) significantly improves student accuracy for expensive models such as deep neural networks and large random forests on both image and tabular datasets. Building on these results, we propose a comprehensive metric—the Compression Score—to evaluate the quality of synthetic datasets based on their induced model compression performance. The Compression Score captures both data diversity and discriminability, and we illustrate its benefits over the popular Inception Score in the context of image classification.

研究の動機と目的

• 実データの増幅なしに再利用される場合のモデル圧縮性能の劣化という課題に対処する。
• 実データの分布をよりよく捉える合成データを生成することで、知識蒸留における学生モデルの精度を向上させる。
• 合成データセットの品質を定量化する包括的な評価指標「圧縮スコア」を構築する。
• 画像および表形式データを含む多様なモデルアーキテクチャ（深層ニューラルネットワークおよび大規模ランダムフォレスト）とデータタイプにおいて、GAN 増幅データの有効性を示す。

提案手法

• 教師モデルのトレーニングデータの分布をモデル化する GAN を訓練し、実データのパターンを模倣する合成サンプルを生成する。
• 訓練済みの GAN から得た合成サンプルを元のトレーニングデータセットに追加し、拡張された圧縮データセットを構築する。
• 実データと合成データの両方を用いて学生モデルを訓練し、教師モデルからの知識蒸留を実行する。
• 合成データセットの品質が学生モデルの精度向上に寄与するかどうかを評価する圧縮スコアを導入する。
• 圧縮スコアを用いて、多様性と識別性の両面から合成データの品質を評価し、従来の指標（例：Inception スコア）と比較する。
• 生成されたサンプルが多様かつ意味的に適切であることを保証するため、GAN の訓練プロセスを最適化する。

実験結果

リサーチクエスチョン

• RQ1 実データが限られている、もしくは再利用される状況において、GAN で生成された合成データは、知識蒸留における学生モデルの性能を向上させることができるか？
• RQ2 圧縮スコアで測定した合成データの品質と、実際のモデル圧縮性能の間には相関があるか？
• RQ3 異なるモデルアーキテクチャ（深層ニューラルネットワークや大規模ランダムフォレスト）およびデータモダリティ（画像および表形式データ）において、GAN 増幅データは、通常の蒸留法（実データのみ）を上回る性能を示すか？
• RQ4 合成データの評価において、従来の指標（例：Inception スコア）と比較して、圧縮スコアはどのように異なるか？

主な発見

• GAN-MC は、実データのみを用いた標準的な蒸留法と比較して、画像および表形式データの両方において、学生モデルの精度を顕著に向上させる。
• 提案された圧縮スコアは、多様性と識別性の両方を測定することで、合成データの品質を効果的に捉えており、圧縮タスクにおける合成データ評価において、Inception スコアを上回る性能を示す。
• GAN で生成された合成データは、深層ニューラルネットワークや大規模ランダムフォレストといった大規模で複雑なモデルに対しても、モデル圧縮性能の向上に寄与する。
• 新規の実データにアクセスできない状況下でも、学生モデルの精度向上が測定可能であり、リソース制約のある展開環境に適している。
• 実験により、圧縮スコアは実際の蒸留性能と強く相関しており、合成データ品質の信頼できる代理指標としての有効性が裏付けられた。