[論文レビュー] Anycost GANs for Interactive Image Synthesis and Editing

Ji Lin, Richard Zhang+3 more|arXiv (Cornell University)|Mar 4, 2021

Generative Adversarial Networks and Image Synthesis参考文献 79被引用数 8

ひとこと要約

本稿では、インタラクティブな画像合成および編集を可能にする可変解像度・適応的チャネル推論をサポートする単一の生成器アーキテクチャ、Anycost GAN を提案する。重み共有、段階的最適化、生成器に依存する判別器を用いて統一された生成器を訓練することで、CPU で最大 11.9×、エッジ GPU で最大 8.5× の高速化を達成しつつ、フルモデルと比較して品質の低下を最小限に抑え、視覚的に一貫したプレビューを実現する。

ABSTRACT

Generative adversarial networks (GANs) have enabled photorealistic image synthesis and editing. However, due to the high computational cost of large-scale generators (e.g., StyleGAN2), it usually takes seconds to see the results of a single edit on edge devices, prohibiting interactive user experience. In this paper, we take inspirations from modern rendering software and propose Anycost GAN for interactive natural image editing. We train the Anycost GAN to support elastic resolutions and channels for faster image generation at versatile speeds. Running subsets of the full generator produce outputs that are perceptually similar to the full generator, making them a good proxy for preview. By using sampling-based multi-resolution training, adaptive-channel training, and a generator-conditioned discriminator, the anycost generator can be evaluated at various configurations while achieving better image quality compared to separately trained models. Furthermore, we develop new encoder training and latent code optimization techniques to encourage consistency between the different sub-generators during image projection. Anycost GAN can be executed at various cost budgets (up to 10x computation reduction) and adapt to a wide range of hardware and latency requirements. When deployed on desktop CPUs and edge devices, our model can provide perceptually similar previews at 6-12x speedup, enabling interactive image editing. The code and demo are publicly available: https://github.com/mit-han-lab/anycost-gan.

研究の動機と目的

• リソース制限のあるデバイス上で高精細 GAN の推論遅延を低減することにより、インタラクティブな画像編集を可能にすること。
• 再訓練やファインチューニングなしに、複数の計算コストをサポートする単一の生成器を訓練すること。
• 画像の投影や編集において、解像度やチャネル数が異なるサブ生成器間で視覚的整合性を維持すること。
• 共有重みと多様なサブアーキテクチャを有する複数の生成器が共存するミニマックス最適化フレームワークにおいて、学習を安定化させること。
• 異なる生成器構成間で一貫した潜在コードマッピングを保証するエンコーダーと最適化技術を開発すること。

提案手法

• 異なる解像度およびチャネル数を持つサブ生成器間で重みを共有する統一された生成器を訓練し、任意のコスト予算での直接推論を可能にする。
• 段階的訓練の適用：まず全チャネルを用いたマルチ解像度サブ生成器を訓練し、その後でチャネル数を適応的に削減する。
• サブ生成器のアーキテクチャに応じてその監視を適応的に変更する生成器に依存する判別器を導入する。
• サンプリングベースのマルチ解像度訓練と適応的チャネル訓練を用いて、多様な構成間での最適化を安定化させる。
• フル生成器およびサブ生成器の両方の再構成誤差を最小化する一貫性を意識したエンコーダー訓練を実施する。
• L-BFGS を用いた反復的潜在コード最適化を、エンコーダー出力を初期値として用いることで、投影忠実度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 複数の推論コストをサポートしつつ、視覚的整合性を維持できる単一の GAN 生成器を訓練できるか？
• RQ2 共有重みを有する複数のサブ生成器がミニマックス最適化フレームワークに共存する状況で、対抗的学習をどのように安定化できるか？
• RQ3 インタラクティブ編集中に、フル生成器のプレビューとしての代替としてサブ生成器がどれほど正確に機能するか？
• RQ4 一貫性を意識したエンコーダー訓練は、異なる生成器構成間で画像投影の正確性をどの程度向上させるか？
• RQ5 CPU およびエッジデバイスでの推論遅延にどの程度の高速化が達成可能か、視覚的品質を維持したまま？

主な発見

• Anycost GAN は、Intel Xeon CPU で最大 11.9×、NVIDIA Jetson Nano GPU で最大 8.5× のウォールタイム高速化を達成し、視覚的に一貫した出力を得た。
• Xeon CPU では 12.2×、Jetson Nano では 8.5× の高速化を達成し、キャッシュ効率のおかげで CPU ではスーパー線形の高速化を実現した。
• 一貫性を意識したエンコーダー訓練により、フル生成器とサブ生成器の再構成間の LPIPS 差を 0.07 から 0.02 に低下させ、投影の一貫性を向上させた。
• 画像編集の結果、笑顔や髪の色といった属性の変更が、フル生成器とサブ生成器の間で一貫して実現されており、異なる構成間の信頼性を検証した。
• 画像品質および一貫性の両面で、蒸留ベースの圧縮や別個の小規模生成器の訓練に比べ、本手法が優れていることを示した。
• 進化的探索により、さまざまな計算コスト予算下での最適なサブ生成器が同定され、10× 以上の計算量の変動を高忠実度で達成した。