[論文レビュー] MFAGAN: A Compression Framework for Memory-Efficient On-Device Super-Resolution GAN

Wenlong Cheng, Mingbo Zhao+2 more|arXiv (Cornell University)|Jul 27, 2021

Advanced Image Processing Techniques被引用数 11

ひとこと要約

MFAGANは、マルチスケール特徴量集合生成器、軽量なPatchGAN識別器、および知識蒸留とハードウェアに配慮したニューラルアーキテクチャ探索を組み合わせた2段階の圧縮パイプラインを導入することで、デバイス内でのスーパーレゾリューションに向けたメモリ効率の良いGANフレームワークを提案する。ESRGANと比較して最大8.3倍のメモリ削減と42.9倍の計算量削減を達成し、わずかな知覚的品質の低下で済ませ、Snapdragon 865で約70msの遅延でリアルタイム推論を実現する。

ABSTRACT

Generative adversarial networks (GANs) have promoted remarkable advances in single-image super-resolution (SR) by recovering photo-realistic images. However, high memory consumption of GAN-based SR (usually generators) causes performance degradation and more energy consumption, hindering the deployment of GAN-based SR into resource-constricted mobile devices. In this paper, we propose a novel compression framework extbf{M}ulti-scale extbf{F}eature extbf{A}ggregation Net based extbf{GAN} (MFAGAN) for reducing the memory access cost of the generator. First, to overcome the memory explosion of dense connections, we utilize a memory-efficient multi-scale feature aggregation net as the generator. Second, for faster and more stable training, our method introduces the PatchGAN discriminator. Third, to balance the student discriminator and the compressed generator, we distill both the generator and the discriminator. Finally, we perform a hardware-aware neural architecture search (NAS) to find a specialized SubGenerator for the target mobile phone. Benefiting from these improvements, the proposed MFAGAN achieves up to extbf{8.3}$ imes$ memory saving and extbf{42.9}$ imes$ computation reduction, with only minor visual quality degradation, compared with ESRGAN. Empirical studies also show $\sim$ extbf{70} milliseconds latency on Qualcomm Snapdragon 865 chipset.

研究の動機と目的

• メモリ制限およびエネルギー制限のあるモバイルデバイスに、GANベースのスーパーレゾリューションモデルを導入する際の高いメモリ使用量と計算コストの課題に対処すること。
• 特にモバイルデプロイ用に圧縮された場合に生じる不安定さやメモリの爆発的増加の問題を克服すること。
• ターゲットのモバイルハードウェア上で、モデル効率、推論速度、知覚的品質のバランスを取るハードウェアに配慮した圧縮フレームワークを開発すること。
• アーキテクチャの革新とモデル圧縮を通じて、視覚的品質の劣化を最小限に抑え、リアルタイムのデバイス内推論を実現すること。

提案手法

• 生成器における密接続を置き換え、メモリアクセスコストを低減するための、メモリ効率の良いマルチスケール特徴量集合モジュール（MFAM）を設計する。
• 訓練の安定性と知覚的品質の向上を図るため、軽量なPatchGAN識別器を導入し、特に圧縮された生成器と組み合わせた場合に有効である。
• 2段階の圧縮パイプラインを適用する：まず生成器と識別器の両方を蒸留して、圧縮モデルの訓練を安定化させ、次にNASベースのチャネルプルーニングを適用してさらなるメモリ削減を実現する。
• ターゲットのモバイルチップセット（例：Snapdragon 865）に特化したサブ生成器を最適化するために、ハードウェアに配慮した進化的な探索を実施し、遅延とメモリ効率を最適化する。
• 実世界の推論パフォーマンスを検証するために、モバイルデバイス上での最終モデルのデプロイをTensorFlow Liteを用いて実施する。
• 学生用識別器と圧縮された生成器のバランスを、知識蒸留により保つことで、モード崩壊を回避し、高品質な生成を維持する。

(a)

実験結果

リサーチクエスチョン

• RQ1 知覚的品質に影響を与えることなく、メモリ効率の良い生成器アーキテクチャが、GANベースのスーパーレゾリューションにおけるメモリアクセスコストを低減できるか？
• RQ2 圧縮された生成器と組み合わせた場合、標準的な識別器と比較して、軽量なPatchGAN識別器は訓練の安定性をどのように向上させるか？
• RQ3 生成器と識別器の両方を蒸留することで、圧縮GANの訓練を効果的に安定化させることができるか？
• RQ4 ハードウェアに配慮したニューラルアーキテクチャ探索は、モバイルプラットフォーム上でのモデル効率と推論遅延をどの程度最適化できるか？
• RQ5 圧縮されたデバイス内GANにおいて、メモリ削減、計算量の削減、視覚的品質の間にはどのようなトレードオフが生じるか？

主な発見

• MFAGANは、ESRGANと比較して、最大8.3倍のメモリアクセスコスト削減と42.9倍のFLOPs削減を達成し、PSNRは0.29 dBの低下（32.59 vs. 31.13）とわずかに低下し、LPIPSは0.0118の改善（0.0514 vs. 0.0632）を示した。
• Qualcomm Snapdragon 865 GPU上では、MFAGANは4倍スーパーレゾリューションの推論遅延を70msに抑え、ESRGANの1150msと比較して16.4倍の高速化を達成した。
• 特に軽量なMFANet生成器と組み合わせた場合、PatchGAN識別器は、vanilla ESRGAN識別器と比較して訓練の安定性とPSNR性能を顕著に向上させた。
• 2段階の圧縮パイプライン（まず蒸留、次にNASベースのプルーニング）は、訓練の安定化と効果的なモデル圧縮を成功裏に実現し、AGDなどの先行するGAN圧縮手法を上回った。
• MFAGANは、ベンチマークデータセット全体でPSNRおよびLPIPSの両面で最先端の手法を上回り、著しく削減されたメモリと計算リソースを維持した。
• 視覚的比較により、MFAGANがシャープなエッジや豊かなテクスチャを保持しており、特に髪の毛や織物のテクスチャのような困難なディテールにおいて、ESRGANや他のSOTA手法と同等またはそれを上回る知覚的品質を実現したことが確認された。

(b)