[論文レビュー] One Model to Reconstruct Them All: A Novel Way to Use the Stochastic Noise in StyleGAN

Christian Bartz, Joseph Bethge+2 more|arXiv (Cornell University)|Oct 21, 2020

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

本稿では、事前学習されたスタイルGANジェネレータを固定デコーダとして用い、確率的ノイズを学習可能な特徴空間として活用することで、微調整なしに多様なデータドメインにわたる高品質な画像再構成を実現する、新しいスタイルGANベースのオートエンコーダを提案する。この手法は、1枚のGPUで最大秒速40枚の再構成速度を達成しており、先行手法と比較して28倍高速であり、タスク固有の訓練を経ていないにもかかわらず、画像ノイズ除去において優れた性能を示す。

ABSTRACT

Generative Adversarial Networks (GANs) have achieved state-of-the-art performance for several image generation and manipulation tasks. Different works have improved the limited understanding of the latent space of GANs by embedding images into specific GAN architectures to reconstruct the original images. We present a novel StyleGAN-based autoencoder architecture, which can reconstruct images with very high quality across several data domains. We demonstrate a previously unknown grade of generalizablility by training the encoder and decoder independently and on different datasets. Furthermore, we provide new insights about the significance and capabilities of noise inputs of the well-known StyleGAN architecture. Our proposed architecture can handle up to 40 images per second on a single GPU, which is approximately 28x faster than previous approaches. Finally, our model also shows promising results, when compared to the state-of-the-art on the image denoising task, although it was not explicitly designed for this task.

研究の動機と目的

• 1つの事前学習済みスタイルGANジェネレータを用いて、多様なデータドメインにわたる高精細な画像再構成を可能にすること。
• スタイルGANにおける確率的ノイズが、ランダムな変動を超えて機能的役割を果たせるかどうかを調査すること。
• エンコーダとデコーダの訓練を異なるデータセットで分離することで、エンコーダとデコーダの訓練を分離する効率的なGAN逆問題解決手法を開発すること。
• ノイズを主な制御メカニズムとして用いる場合の潜在コードの意味的表現力を探ること。
• このモデルが、タスク固有の訓練を経ていないにもかかわらず、画像ノイズ除去という実用的応用においてどの程度の性能を示すかを評価すること。

提案手法

• 事前学習済みスタイルGANジェネレータを固定デコーダとして用い、異なるデータセットで訓練されたResNetベースのエンコーダを用いて、条件付きGANアーキテクチャを構築する。
• エンコーダは、事前学習済みスタイルGANの潜在空間への入力画像のマッピングを学習し、訓練中はジェネレータの重みを固定する。
• 確率的ノイズ入力を、画像の詳細や色の操作の主な制御メカニズムとして活用し、潜在コードの使用を回避する。
• 潜在コードの意味的意味を強化しながら再構成品質を維持するため、二段階訓練戦略を導入する。
• 再構成品質を最適化するため、エンドツーエンドで周囲的損失（LPIPS）、 adversarial損失、再構成損失（MSE）を用いて訓練する。
• ノイズ除去の目的では、ノイズ入り入力を元に元の綺麗な画像を直接再構成するように訓練し、残差差分の処理を経由しない。

実験結果

リサーチクエスチョン

• RQ1 ノイズを主な制御信号として用いる場合、潜在コードが再構成品質にどの程度影響を与えるか。
• RQ2 スタイルGANにおける確率的ノイズは、ランダムな変動を超えて、微細なディテールや色の変化を捉えるために利用可能か。
• RQ3 事前学習済みスタイルGANジェネレータは、自身の学習分布とは異なるドメインの画像を再構成できるか。
• RQ4 あるデータセットで訓練されたエンコーダは、固定されたジェネレータを用いて、異なるドメインの画像を効果的に再構成できるか。
• RQ5 このアーキテクチャは、タスク固有の訓練を経ていないにもかかわらず、画像ノイズ除去においてどの程度の性能を示せるか。

主な発見

• 本モデルは、1枚のNVIDIA RTX 2080 Tiで最大秒速40枚の再構成速度を達成しており、[11]のような先行手法と比較して28倍高速である。
• 本モデルは、FFHQで事前学習されたスタイルGANを用いて、LSUNの教会、ネコ、ベッドルームなど多様なドメインの画像を再構成でき、顕著なクロスドメイン一般化性能を示している。
• 確率的ノイズ入力が、潜在コードを用いない状況でも微細なディテールの捉え込みや色の操作に不可欠であることが示された。
• BSD68データセットにおいてσ=50の条件下でPSNRが27.57、SSIMが0.92を達成し、タスク固有の設計を経ていないにもかかわらず、画像ノイズ除去分野の最先端性能と同等の結果を示した。
• ノイズ除去の過程でわずかな色補正効果が観察されたが、これは知覚的品質を向上させる可能性がある一方、定量的評価において混同要因となる可能性がある。
• 二段階訓練戦略により、再構成品質を損なうことなく、潜在コードの意味的表現力が著しく向上した。