[論文レビュー] GANs Can Play Lottery Tickets Too

Xuxi Chen, Zhenyu Zhang+2 more|arXiv (Cornell University)|May 31, 2021

Generative Adversarial Networks and Image Synthesis参考文献 49被引用数 5

ひとこと要約

この論文は、生成対抗ネットワーク（GANs）がロットリーチ・チケット行動を示す可能性を示しており、完全モデルの性能に達するスパースなサブネットワーク（ウィンナーチケット）を個別に訓練できることを示している。反復的マグニチュードおよびチャネルプルーニングを用いて、特に67–74%のスパースニティにおいて、GANの分野で最先端の圧縮を達成した。また、ディスクラミネーターの初期化がチケットの品質およびタスク間での転送性に顕著な影響を与えることが明らかになった。

ABSTRACT

Deep generative adversarial networks (GANs) have gained growing popularity in numerous scenarios, while usually suffer from high parameter complexities for resource-constrained real-world applications. However, the compression of GANs has less been explored. A few works show that heuristically applying compression techniques normally leads to unsatisfactory results, due to the notorious training instability of GANs. In parallel, the lottery ticket hypothesis shows prevailing success on discriminative models, in locating sparse matching subnetworks capable of training in isolation to full model performance. In this work, we for the first time study the existence of such trainable matching subnetworks in deep GANs. For a range of GANs, we certainly find matching subnetworks at 67%-74% sparsity. We observe that with or without pruning discriminator has a minor effect on the existence and quality of matching subnetworks, while the initialization weights used in the discriminator play a significant role. We then show the powerful transferability of these subnetworks to unseen tasks. Furthermore, extensive experimental results demonstrate that our found subnetworks substantially outperform previous state-of-the-art GAN compression approaches in both image generation (e.g. SNGAN) and image-to-image translation GANs (e.g. CycleGAN). Codes available at https://github.com/VITA-Group/GAN-LTH.

研究の動機と目的

• 生成対抗ネットワーク（GANs）を含む深層生成モデルに、ロットリーチチケット仮説（LTH）が適用可能かどうかを調査すること。
• ディスクラミネーターのプルーニングが、GANにおけるトレーニング可能なサブネットワークの発見に与える影響と、ディスクラミネーター重みの初期化の役割を特定すること。
• 同定されたサブネットワークが、異なるデータセットおよび生成タスク間でどれほど転送可能かを評価すること。
• パrameter数の削減と推論速度の向上を実現する構造的（チャネル）プルーニングを用いた、より効率的な圧縮パイプラインの開発。
• 効率性と画像生成品質の両面で、既存の最先端のGAN圧縮手法を凌駆すること。

提案手法

• さまざまなGANアーキテクチャの生成器およびディスクラミネーターの両方に、反復的マグニチュードプルーニング（IMP）を適用し、スパースなサブネットワークを同定する。
• 非構造的マグニチュードプルーニングを用いて、SNGANやCycleGANを含む複数のGANモデルで67–74%のスパースニティレベルにおけるウィンナーチケットを特定する。
• パrameter数の削減と推論速度の向上を実現する構造的サブネットワークを生成するため、チャネルプルーニングを採用する。
• サブネットワークを同じランダム重みで初期化し、再訓練パイプラインを実装して性能を評価する。
• 密度の高いディスクラミネーターを知識蒸留のソースとして用い、プルーニングにより同定されたウィンナーチケットの品質を向上させる。
• サブネットワークの転送性を評価するため、CIFAR-10 や Tiny ImageNet などの未学習データセットや、多様なGANアーキテクチャ（DCGAN, WGAN-GP, ACGAN, AutoGAN）を用いてテストを実施する。

実験結果

リサーチクエスチョン

• RQ1 ロットリーチチケット仮説が予測するように、トレーナブルなマッチングサブネットワーク（ウィンナーチケット）は、深層GANに存在するのか？
• RQ2 ディスクラミネーターをプルーニングすることは、GANにおけるウィンナーチケットの存在や性能にどのように影響するのか？
• RQ3 ディスクラミネーター重みの初期化が、ウィンナーチケットの成功に果たす役割は何か？
• RQ4 プルーニングにより同定されたウィンナーチケットは、新しいデータセットや生成タスクに効果的に転送可能か？
• RQ5 構造的プルーニング（チャネルプルーニング）により、既存の最先端のGAN圧縮手法を上回る効率性と性能を達成できるサブネットワークが得られるか？

主な発見

• スパースニティ67%～74%の範囲で、GAN内にマッチングサブネットワークが存在し、SNGANでは73.8%のスパースニティでFIDが17.28、CycleGANでは79.0%のスパースニティで38.95を達成した。
• ディスクラミネーターのプルーニングは、ウィンナーチケットの存在や品質にほとんど影響を与えないが、ディスクラミネーター重みの初期化が成功に不可欠であることが判明した。
• 反復的マグニチュードプルーニングにより同定されたサブネットワークは、ランダムプルーニングやランダム初期化のものよりも優れている。特に極端なスパースニティレベルで顕著な差が見られた。
• 密度の高いディスクラミネーターを知識蒸留のソースとして用いることで、最終的なサブネットワークの品質が著しく向上した。
• チャネルプルーニングにより同定されたウィンナーチケットは、最先端の性能を達成しており、約67%のスパースニティでGANスリミング（GS-32）を0.25点上回り、約29%のスパースニティで0.20点上回った。
• ウィンナーチケットの転送性は強く、CIFAR-10で学習したサブネットワークはTiny ImageNetなど他のデータセットに対しても良好に一般化し、DCGAN, WGAN-GP, ACGAN, AutoGANといった多様なGANモデルにおいて一貫した性能向上が得られた。