[論文レビュー] Using latent space regression to analyze and leverage compositionality in GANs

Lucy Chai, Jonas Wulff+1 more|arXiv (Cornell University)|Mar 18, 2021

Generative Adversarial Networks and Image Synthesis参考文献 51被引用数 30

ひとこと要約

この論文は潜在空間回帰器を訓練して画像を固定GANの潜在コードへマッピングし、GANの潜在事前分布を活用して画像部品から一貫した合成を生成することで、リアルタイム・ラベルなし編集と構成を実現する。

ABSTRACT

In recent years, Generative Adversarial Networks have become ubiquitous in both research and public perception, but how GANs convert an unstructured latent code to a high quality output is still an open question. In this work, we investigate regression into the latent space as a probe to understand the compositional properties of GANs. We find that combining the regressor and a pretrained generator provides a strong image prior, allowing us to create composite images from a collage of random image parts at inference time while maintaining global consistency. To compare compositional properties across different generators, we measure the trade-offs between reconstruction of the unrealistic input and image quality of the regenerated samples. We find that the regression approach enables more localized editing of individual image parts compared to direct editing in the latent space, and we conduct experiments to quantify this independence effect. Our method is agnostic to the semantics of edits, and does not require labels or predefined concepts during training. Beyond image composition, our method extends to a number of related applications, such as image inpainting or example-based image editing, which we demonstrate on several GANs and datasets, and because it uses only a single forward pass, it can operate in real-time. Code is available on our project page: https://chail.github.io/latent-composition/.

研究の動機と目的

• 事前学習済みGANの潜在空間に、物体とシーンの構成表現が含まれるかを調査する。
• 欠損ピクセルを扱う高速な前向き推論型潜在回帰器を開発し、画像をGAN潜在コードへマッピングする。
• 現実味のある出力へとプロジェクションすることで、リアルタイムの画像編集とコラージュ構成を実証する。
• 複数のアーキテクチャとデータセットにおける入力再構成忠実度と出力現実性のトレードオフを定量化する。
• ラベリングなしの監視なしで、インペインティング、シーン補完、データセットの再バランシングへの適用を示す。

提案手法

• 入力画像 x から潜在コード z を予測する潜在回帰ネットワーク E を訓練し、画像再構成、知覚的、潜在コード再構成項を含む損失を用いる。
• GAN生成器 G（例：ProGAN、StyleGAN）を固定し、E の訓練を行い、G を更新せずに順伝搬による反転を可能にする。
• 欠損データをマスク付き入力 (x_m, m) として提供し、未知ピクセルにもかかわらず一貫した潜在コードを学習するよう損失を拡張する。
• 回帰器と G の組み合わせを強力な画像事前知識として用い、画像部品のコラージュを画像多様体に投影して一貫した合成を生成する。
• x_clg を部品から作成し、それを E と G で再射影して x_rec を得ることで、ブレンディング、整列、インペインティングを実現する。
• マスク付き L1 や FID などの指標を用いて、エンコーダー型、最適化型、オートエンコーダー型のアプローチ間で再構成と現実性のトレードオフを比較する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みGANの潜在コードには、画像の部品を独立して編集できる構成的な構造が含まれているか？
• RQ2 単一の前向き推論潜在回帰器で、属性ラベル付けなしに現実的な部品の構成を実現できるか？
• RQ3 潜在回帰による構成と単純な潜在空間またはピクセル空間内の補間との違いは何か？
• RQ4 欠損した入力領域を扱いながら、どの程度まで回帰器は一貫した出力を生成できるか？
• RQ5 異なるGANアーキテクチャやデータセットごとに構成特性はどのように変わるか？

主な発見

• 回帰器と固定生成器の組み合わせは、コラージュ入力から現実的な合成を生み出す強力な画像事前知識を提供する。
• 生成器の潜在コードはすでに構成の構造をエンコードしており、ラベル付き属性なしで局所的な編集を可能にする。
• 編集操作は1回の前向きパスでリアルタイムに実行でき、反復的な最適化を回避する。
• 欠損データを模擬するために入力をマスクすると、文脈を尊重しつつシーンを一貫して完成させることができる。
• 潜在回帰によるコラージュ構成は、入力の保持と出力の現実性の間にパレート的なトレードオフを示し、L1再構成とFID現実性のバランスをとる。
• アーキテクチャを超えて、StyleGANはより局所的な変動制御を示し、ProGANは再構成と現実性のトレードオフが異なる。