[論文レビュー] GAN Compression: Efficient Architectures for Interactive Conditional GANs

Li, Muyang, Lin, Ji+4 more|arXiv (Cornell University)|Mar 19, 2020

Generative Adversarial Networks and Image Synthesis被引用数 18

ひとこと要約

本稿では、中間特徴量における知識蒸留と重み共有を用いたニューラルアーキテクチャ探索（NAS）を組み合わせることで、条件付き GAN の推論計算量とモデルサイズを削減する汎用フレームワーク「GAN Compression」を提案する。Pix2pix、CycleGAN、GauGAN、MUNIT において、画像品質を損なわずに 9–29× の計算量削減を達成し、エッジデバイスでのインタラクティブなデプロイを可能にする。

ABSTRACT

Conditional Generative Adversarial Networks (cGANs) have enabled controllable image synthesis for many vision and graphics applications. However, recent cGANs are 1-2 orders of magnitude more compute-intensive than modern recognition CNNs. For example, GauGAN consumes 281G MACs per image, compared to 0.44G MACs for MobileNet-v3, making it difficult for interactive deployment. In this work, we propose a general-purpose compression framework for reducing the inference time and model size of the generator in cGANs. Directly applying existing compression methods yields poor performance due to the difficulty of GAN training and the differences in generator architectures. We address these challenges in two ways. First, to stabilize GAN training, we transfer knowledge of multiple intermediate representations of the original model to its compressed model and unify unpaired and paired learning. Second, instead of reusing existing CNN designs, our method finds efficient architectures via neural architecture search. To accelerate the search process, we decouple the model training and search via weight sharing. Experiments demonstrate the effectiveness of our method across different supervision settings, network architectures, and learning methods. Without losing image quality, we reduce the computation of CycleGAN by 21x, Pix2pix by 12x, MUNIT by 29x, and GauGAN by 9x, paving the way for interactive image synthesis.

研究の動機と目的

• リソース制限のあるエッジデバイス（スマートフォンやVRヘッドセットなど）へのデプロイを制限する、条件付き GAN の高い計算コストの課題に対処すること。
• 特にペaired でない設定において顕著な GAN 訓練の不安定性と、既存の CNN 圧縮技術の再利用を妨げるアーキテクチャの相違を克服すること。
• さまざまな条件付き GAN アーキテクチャ、監督設定（ペアド／ペアドでない）および学習目的に適用可能な汎用圧縮フレームワークの開発。
• MACs とモデルサイズを顕著に削減しながら、インタラクティブなアプリケーションに適した高精細な画像生成を維持すること。

提案手法

• 事前に訓練済みの教師生成器の内部特徴表現を、圧縮された学生生成器に転送することで知識蒸留を実施し、訓練の安定化と性能向上を図る。
• 教師モデルの出力を用いて合成されたターゲット画像を生成することで、ペアドでない学習を仮想ペアド学習に変換し、ペアドでない設定でもより効果的な蒸留を可能にする。
• 一度のための（OFA）訓練戦略を用いたニューラルアーキテクチャ探索（NAS）により、効率的な生成器アーキテクチャを発見する。このアプローチでは、1つのネットワークにすべての候補チャンネル構成が含まれる。
• OFA フレームワークにおける重み共有を活用して、アーキテクチャ探索を訓練から分離し、再訓練なしにサブネットワークの性能を迅速に評価可能にする。
• 畳み込み分解（ディープ・シーパラブル畳み込み）を統合することで、性能を維持したまま計算量をさらに削減する。
• 探索空間に対して自動的なチャネル削減と畳み込み分解を適用し、最終的な圧縮アーキテクチャを最適化する。

実験結果

リサーチクエスチョン

• RQ1 中間特徴量における知識蒸留は、条件付き GAN の圧縮において訓練の安定化と性能向上を実現できるか？
• RQ2 教師モデルから生成された仮想ペアドデータを用いることで、ペアドでない GAN 学習を変換すると、特に小規模なアーキテクチャにおいて、圧縮モデルの品質が向上するか？
• RQ3 重み共有を用いたニューラルアーキテクチャ探索は、MACs を削減しながら画像忠実度を維持する効率的な生成器アーキテクチャを効果的に発見できるか？
• RQ4 本手法は、既存の蒸留および圧縮ベースラインと比較して、計算量の削減と視覚的品質の両面で優れているか？
• RQ5 本フレームワークは、異なる条件付き GAN モデル、アーキテクチャ、監督設定（ペアド対ペアドでない）にどの程度一般化可能か？

主な発見

• 提案手法 GAN Compression は、CycleGAN で 21×（56.8G から 2.67G MACs）、Pix2pix で 12×（56.8G から 4.81G MACs）、MUNIT で 29×（16.8G から 0.58G MACs）、GauGAN で 9×（281G から 31.7G MACs）の推論計算量削減を達成し、画像品質に損なわれることなく実現した。
• COCO-Stuff データセットに適用した場合、GauGAN で 5.4× の計算量削減を達成し、標準ベンチマークを超える一般化性能を示した。
• 教師モデルから生成された仮想ペアドデータを用いることで、単純なペアドでない学習に比べて性能が向上し、特に小規模モデルにおいて FID を 67.45 から 61.53 に低下させた。
• ResBlock 内で畳み込み分解を適用した MobileNet スタイルのアーキテクチャは、元の ResNet 生成器と比較して計算コストを 50% 削減しながら、性能を維持または向上させた。
• 中間特徴量の蒸留手法は、出力のみの蒸留や他のベースラインを上回る性能を示した：Cityscapes では 5.66G MACs で 40.77 mIoU を達成し、出力のみの蒸留では 35.67、Yim et al. の蒸留では 36.69 であった。
• Fast GAN Compression のバリエーションは、元の手法と比較して、訓練時間を 1.7–3.7×、探索時間を 3.5–12× 短縮し、大幅な効率向上を実現した。