[論文レビュー] Self-Supervised GAN Compression

Chong Yu, Jeff Pool|arXiv (Cornell University)|Jul 3, 2020

Generative Adversarial Networks and Image Synthesis参考文献 42被引用数 4

ひとこと要約

この論文は、生成対抗ネットワーク（GANs）の自己教師付き圧縮手法を提案する。事前学習済みの識別器を用いて生成器の pruning を自己教師的に監視することで、標準的な pruning 技術が GAN の品質を維持できない問題を克服する。本手法は、品質の低下を最小限に抑えながら、最大 90% のスパarsity を達成でき、特に細分化（要素レベル）の pruning を用いることで高い性能を発揮する。再訓練に必要な時間は元の学習時間の 1–10% にまで短縮される。

ABSTRACT

Deep learning's success has led to larger and larger models to handle more and more complex tasks; trained models can contain millions of parameters. These large models are compute- and memory-intensive, which makes it a challenge to deploy them with minimized latency, throughput, and storage requirements. Some model compression methods have been successfully applied to image classification and detection or language models, but there has been very little work compressing generative adversarial networks (GANs) performing complex tasks. In this paper, we show that a standard model compression technique, weight pruning, cannot be applied to GANs using existing methods. We then develop a self-supervised compression technique which uses the trained discriminator to supervise the training of a compressed generator. We show that this framework has a compelling performance to high degrees of sparsity, can be easily applied to new tasks and models, and enables meaningful comparisons between different pruning granularities.

研究の動機と目的

• 複雑な GAN における効果的なモデル圧縮技術、特に生成器の pruning に対する不足を解消すること。
• 標準的な pruning 手法が複雑なタスクにおける GAN の生成品質を維持できない理由を特定すること。
• 生成器の圧縮中に高精細な出力を維持できる自己教師付き圧縮フレームワークを開発すること。
• 異なる pruning の粒度（要素レベル対フィルターレベル）とスパarsity 水準が GAN の性能に与える影響を評価すること。
• 最小限のハイパーパramータチューニングと再学習で、効率的かつエンドツーエンドの GAN 生成器の圧縮を可能にすること。

提案手法

• 本手法は、元の学習データにアクセスできない状況下でも、事前学習済みの識別器を用いて生成器の圧縮中に自己教師的監視を提供する。
• オリジナルの生成器出力と圧縮済み生成器出力を組み合わせた、識別器の本物/偽物予測と連携する新しい損失関数を導入する。
• 構造的スパarsity を用いて pruning を実行し、要素レベル（0D）、ベクトルレベル（1D）、カーネルレベル（2D）、フィルターレベル（3D）の圧縮オプションを提供する。
• 圧縮済み生成器は識別器のフィードバックを用いて微調整され、性能の低下を最小限に抑えながら高スパarsityを実現する。
• フレームワークはエンドツーエンドであり、ハイパーパramータは 1 つ（実験では 0.5 に設定）のみがオプションとして必要となる。
• 本手法は、画像対画像変換やスタイル変換を含む、複数の GAN アーキテクチャとタスクに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的な pruning 手法が複雑なタスクにおける GAN 生成器の品質を維持できないのか？
• RQ2 元の学習データにアクセスできない状況下でも、事前学習済み識別器が GAN 生成器の圧縮を効果的に自己教師的に監視できるか？
• RQ3 異なる pruning の粒度（要素レベル対フィルターレベル）は、圧縮済み GAN 生成器の品質と安定性にどのように影響するか？
• RQ4 圧縮 GAN において、スパarsity と生成品質の最適なトレードオフは何か？
• RQ5 自己教師付き圧縮は、最小限の再学習時間と外部評価指標の必要なしに、高圧縮率を達成できるか？

主な発見

• 細分化（要素レベル）の pruning により、90% のスパarsity まで安定した性能が達成され、画像品質と FID スコアの低下はわずかで、FID は 32.006 から 41.251 に上昇したにとどまる。
• フィルターレベルの pruning は、25% のスパarsity でも深刻なアーティファクトと色のずれを引き起こし、FID は 82.349 まで上昇した。これは GAN に対して不適切であることを示している。
• 自己教師付き圧縮プロセスには、元の学習時間の 1–10% のみで済み、非常に効率的である。
• CycleGAN や StarGAN を含む多様なタスクにおいて、高い知覚的品質が維持され、PSNR と SSIM の値はオリジナル生成器とほぼ同等であった。
• 特に高スパarsity 水準において、定量的・定性的な両方の指標で先行研究を上回った。
• 損失曲線は最終的な生成品質を正確に反映しており、外部指標なしでも信頼性のあるモニタリングが可能である。