[論文レビュー] Learning Efficient GANs using Differentiable Masks and co-Attention Distillation.

Shaojie Li, Mingbao Lin+6 more|arXiv (Cornell University)|Nov 17, 2020

Digital Media Forensic Detection被引用数 6

ひとこと要約

本稿では、アーキテクチャ探索のための微分可能マスクと、軽量 GAN の学習を安定化させるための共同注意蒸留を用いた、GAN 圧縮の新規手法 DMAD を提案する。CycleGAN では MACs を 13 倍、Pix2Pix では 4 倍削減しながら、フルモデルと同等の性能を維持する。

ABSTRACT

Generative Adversarial Networks (GANs) have been widely-used in image translation, but their high computational and storage costs impede the deployment on mobile devices. Prevalent methods for CNN compression cannot be directly applied to GANs due to the complicated generator architecture and the unstable adversarial training. To solve these, in this paper, we introduce a novel GAN compression method, termed DMAD, by proposing a Differentiable Mask and a co-Attention Distillation. The former searches for a light-weight generator architecture in a training-adaptive manner. To overcome channel inconsistency when pruning the residual connections, an adaptive cross-block group sparsity is further incorporated. The latter simultaneously distills informative attention maps from both the generator and discriminator of a pre-trained model to the searched generator, effectively stabilizing the adversarial training of our light-weight model. Experiments show that DMAD can reduce the Multiply Accumulate Operations (MACs) of CycleGAN by 13x and that of Pix2Pix by 4x while retaining a comparable performance against the full model. Code is available at this https URL.

研究の動機と目的

• GAN の高い計算コストとストレージコストがモバイルデプロイメントを妨える問題に対処すること。
• GAN における複雑な生成器アーキテクチャと不安定な敵対的学習のため、CNN 圧縮手法に限界がある問題を克服すること。
• アダプティブクロスブロックグループスパarsity を用いて、学習に適応し、チャネルの一貫性を保った生成器アーキテクチャ探索を可能にすること。
• 事前に学習されたモデルの生成器および識別器からの注目マップを蒸留することで、圧縮された GAN の敵対的学習を安定化させること。

提案手法

• 学習中にエンドツーエンドで適応的に軽量な生成器アーキテクチャ探索が可能な、微分可能なマスクを導入する。
• 生成器内の残差接続のプルーニング時にチャネルの一貫性を維持するために、アダプティブクロスブロックグループスパarsity を適用する。
• 事前に学習された生成器および識別器からの情報豊富な注目マップを蒸留するための共同注意蒸留を提案する。
• 蒸留された注目マップを用いて、軽量モデルの敵対的学習プロセスを安定化させる。
• アーキテクチャ探索と知識蒸留を組み合わせることで、高い圧縮率と最小限の性能低下を実現する。

実験結果

リサーチクエスチョン

• RQ1 微分可能マスクは、GAN 生成器における効果的で学習に適応したアーキテクチャ探索を可能にするか？
• RQ2 残差接続のプルーニングにおけるチャネルの不一致は、どのように圧縮 GAN で緩和できるか？
• RQ3 生成器および識別器からの共同注意蒸留は、軽量 GAN における学習安定性を向上させることができるか？
• RQ4 CycleGAN および Pix2Pix において、MACs をどの程度削減できるか、性能はどの程度維持できるか？

主な発見

• DMAD は、CycleGAN の乗算累積演算（MACs）を 13 倍削減しながら、フルモデルと同等の性能を維持する。
• 本手法は、Pix2Pix の MACs を 4 倍削減し、元のモデルと比較して性能の低下を最小限に抑える。
• 共同注意蒸留の使用により、圧縮生成器の敵対的学習が著しく安定化する。
• アダプティブクロスブロックグループスパarsity は、残差接続のプルーニング時にチャネルの一貫性を効果的に維持する。