[論文レビュー] Adaptable GAN Encoders for Image Reconstruction via Multi-type Latent Vectors with Two-scale Attentions

Cheng Yu, Wenmin Wang|arXiv (Cornell University)|Aug 23, 2021

Generative Adversarial Networks and Image Synthesis参考文献 45被引用数 5

ひとこと要約

本稿では、多様な事前学習済み GAN（顔のアライメントがずれているものや実写画像を生成するものも含む）において高精細な画像再構成を可能にする、新しい GAN エンコーダーフレームワーク MTV-TSA を提案する。本手法は、マルチタイプの潜在ベクトルと二段階アテンション機構を用いることで、さまざまな GAN アーキテクチャに適応するユニフィードな畳み込みブロックと微調整された正規化層を介して、収束が速く、優れた性能を発揮する。

ABSTRACT

Although current deep generative adversarial networks (GANs) could synthesize high-quality (HQ) images, discovering novel GAN encoders for image reconstruction is still favorable. When embedding images to latent space, existing GAN encoders work well for aligned images (such as the human face), but they do not adapt to more generalized GANs. To our knowledge, current state-of-the-art GAN encoders do not have a proper encoder to reconstruct high-fidelity images from most misaligned HQ synthesized images on different GANs. Their performances are limited, especially on non-aligned and real images. We propose a novel method (named MTV-TSA) to handle such problems. Creating multi-type latent vectors (MTV) from latent space and two-scale attentions (TSA) from images allows designing a set of encoders that can be adaptable to a variety of pre-trained GANs. We generalize two sets of loss functions to optimize the encoders. The designed encoders could make GANs reconstruct higher fidelity images from most synthesized HQ images. In addition, the proposed method can reconstruct real images well and process them based on learned attribute directions. The designed encoders have unified convolutional blocks and could match well in current GAN architectures (such as PGGAN, StyleGANs, and BigGAN) by fine-tuning the corresponding normalization layers and the last block. Such well-designed encoders can also be trained to converge more quickly.

研究の動機と目的

• 既存の GAN エンコーダーが、顔のアライメントがずれている画像や実写画像を含む多様な事前学習済み GAN において高精細な画像再構成に限界を示しているという問題に対処すること。
• PGGAN、StyleGAN、BigGAN などの複数の GAN アーキテクチャに適応可能なユニフィードなエンコーダー・アーキテクチャの開発。
• アライメントがずれた顔画像にとどまらず、さまざまな GAN における画像再構成の再構成忠実度と収束速度の向上。
• 提案されたエンコーダーを用いて潜在空間で分離された属性方向を学習することで、実写画像における属性操作を可能にすること。

提案手法

• 多様な画像特性を潜在空間で表現するため、マルチタイプの潜在ベクトル（MTV）を導入し、表現能力を向上させる。
• グローバルおよびローカルな画像特徴を抽出するために二段階アテンション（TSA）を適用し、特徴の整合性と再構成精度を向上させる。
• 異なる GAN アーキテクチャにわたるエンコーダー最適化を可能にする一般化された損失関数を設計する。
• 特定の GAN アーキテクチャに適合させるために、ユニフィードな畳み込みブロックに加え、正規化層と最終ブロックを微調整する。
• 周辺品質と再構成忠実度のバランスを取るために、二つの損失関数セットを用いてエンド・ツー・エンドで訓練する。
• StyleGAN や PGGAN、BigGAN などの既存の GAN と互換性があり、最小限のアーキテクチャ的変更でプラグアンドプレイな適応が可能である。

実験結果

リサーチクエスチョン

• RQ1 単一のエンコーダー・アーキテクチャが、多様な事前学習済み GAN において高精細な画像再構成に一般化可能か。
• RQ2 マルチタイプの潜在ベクトルの使用が、アライメントがずれた画像および実写画像の再構成品質にどのように寄与するか。
• RQ3 二段階アテンション機構が、特徴表現および再構成忠実度をどの程度向上させるか。
• RQ4 提案されたエンコーダーは、既存の GAN エンコーダーと比較して、より速い収束を達成できるか。
• RQ5 学習された潜在空間が、実写画像における意味的な属性操作をサポートできるか。

主な発見

• 提案された MTV-TSA エンコーダーは、最先端の GAN エンコーダーと比較して、アライメントがずれた高品質画像における再構成忠実度がより高い。
• 潜在空間における属性の分離された方向を学習することで、実写画像からの有効な画像再構成が可能になる。
• ユニフィードな畳み込みブロックと微調整された正規化層のおかげで、トレーニング中の収束が著しく速くなる。
• PGGAN、StyleGAN、BigGAN など複数の GAN アーキテクチャと互換性があり、主要なアーキテクチャ的変更なしに利用可能である。
• 二段階アテンションの使用は、特にローカルディテールとグローバルコンテキストを捉える能力を顕著に向上させ、特徴表現を改善する。
• 一般化された損失関数は、安定したトレーニングと再構成画像の改善された周辺品質に寄与する。