[論文レビュー] QGAN: Quantized Generative Adversarial Networks

Peiqi Wang, Dongsheng Wang+6 more|arXiv (Cornell University)|Jan 24, 2019

Generative Adversarial Networks and Image Synthesis参考文献 21被引用数 21

ひとこと要約

本稿では、期待最大化（EM）アルゴリズムに基づく、生成対抗ネットワーク（GANs）のための新規量子化手法QGANを提案する。従来の量子化手法が直面する量子化された重み値の不足代表問題を克服することを目的としている。QGANは、1ビットおよび2ビットの量子化を効果的に行い、高品質なサンプル生成を維持する。これは、低ビット幅で失敗するかノイズが多い出力を生成する既存手法と比較して優れている。

ABSTRACT

The intensive computation and memory requirements of generative adversarial neural networks (GANs) hinder its real-world deployment on edge devices such as smartphones. Despite the success in model reduction of CNNs, neural network quantization methods have not yet been studied on GANs, which are mainly faced with the issues of both the effectiveness of quantization algorithms and the instability of training GAN models. In this paper, we start with an extensive study on applying existing successful methods to quantize GANs. Our observation reveals that none of them generates samples with reasonable quality because of the underrepresentation of quantized values in model weights, and the generator and discriminator networks show different sensitivities upon quantization methods. Motivated by these observations, we develop a novel quantization method for GANs based on EM algorithms, named as QGAN. We also propose a multi-precision algorithm to help find the optimal number of bits of quantized GAN models in conjunction with corresponding result qualities. Experiments on CIFAR-10 and CelebA show that QGAN can quantize GANs to even 1-bit or 2-bit representations with results of quality comparable to original models.

研究の動機と目的

• 既存のニューラルネットワーク量子化手法を、量子化に不安定であることが知られているGANsに適用する可能性と課題を調査すること。
• 特に、量子化された重み値の不足代表と、生成器と識別器の間の感受性の差異に起因する、既存の量子化手法がGANsに適用された際の主な失敗モードを同定すること。
• EMアルゴリズムを活用して、低ビット量子化モデルにおける元の重み分布をよりよく表現する、新規の量子化手法QGANを開発すること。
• 生成器と識別器の量子化感受性の相違に基づき、ビット幅の最適割り当てを最適化するマルチプレシジョン量子化戦略を設計すること。
• 1ビットおよび2ビット量子化されたGANsが、フル精度モデルと同等の品質のサンプルを生成できることを実験的に検証すること。

提案手法

• EMアルゴリズムを用いて、フル精度の重みを量子化レベルにクラスタリングする量子化手法QGANを提案。これにより、分布の整合性が向上し、量子化された値の不足代表が軽減される。
• EMベースのクラスタリングプロセスにおいて、線形スケーリング関数を適用することで、量子化状態の利用効率を向上させ、GANsにおける訓練ダイナミクスの安定化を図る。
• 生成器と識別器を別々に異なるビット幅で量子化するマルチプレシジョン量子化アルゴリズムを導入。これは、両者の量子化感受性に関する経験的観察に基づく。
• 2段階の訓練戦略を採用：まず識別子を量子化し、その後両ネットワークを共同でファインチューニングすることで収束の安定化を図る。
• 異なるビット幅および量子化手法における生成サンプル品質の評価に、インセプションスコア（IS）と視覚的検証を用いる。
• CIFAR-10およびCelebAデータセットを用い、DCGAN、WGAN-GP、LSGANといった複数のGANアーキテクチャを対象に、さまざまな量子化設定下で本手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的な量子化手法は、CNN や RNN で成功しているにもかかわらず、GAN に直接適用すると失敗するのか？
• RQ2 モデルの収束性とサンプル品質の観点から、生成器と識別器は、重みの量子化に対してどのように感受性が異なるのか？
• RQ3 EMベースのクラスタリングアプローチは、GAN における量子化された重み値の不足代表を効果的に緩和できるか？
• RQ4 モデル圧縮とサンプル品質の両立を考慮した場合、生成器と識別器に最適なビット幅設定は何か？
• RQ5 1ビットまたは2ビット量子化されたGANは、フル精度モデルと同等の品質のサンプルを生成できるか？

主な発見

• 標準的な量子化手法は、量子化された重み値の不足代表に起因し、生成品質が著しく低下するか、完全に生成に失敗する。
• 識別器は生成器よりも量子化に対してはるかに感受性が高く、両ネットワークを同時に量子化することで、生成器のみを量子化する場合よりも訓練が安定する。
• QGANは、低ビットGAN量子化分野で最先端のパフォーマンスを達成し、1ビットおよび2ビットの精度でも高品質なサンプルを生成する。CIFAR-10でのDCGANでは1ビット識別器・2ビット生成器でインセプションスコア4.33、CelebAでは2.68を達成した。
• マルチプレシジョン量子化戦略は、最適なビット幅設定を的確に同定できた。WGAN-GPでは4ビット識別器・4ビット生成器でIS 3.17、LSGANでは3ビット識別器・3ビット生成器でIS 3.55を達成した。
• 視覚的検証により、QGANが生成するサンプルは、特に2ビット以上では人間の認知に耐える品質で、フル精度ベースラインと同等であることが確認された。一方、他の手法では1ビットでノイズやアーチファクトを生成した。
• QGANにおけるEMベースのクラスタリングは、元の重み分布を効果的に適合させる。ベースライン手法と比較して、量子化状態の分布がより均一かつ代表的であることが示された。