[論文レビュー] Swapping Autoencoder for Deep Image Manipulation

Taesung Park, Jun-Yan Zhu+5 more|arXiv (Cornell University)|Jul 1, 2020

Generative Adversarial Networks and Image Synthesis参考文献 88被引用数 145

ひとこと要約

Swapping Autoencoderは二つの分離された潜在コード（構造とテクスチャ）を学習し、テクスチャ/構造のスワップと潜在空間の算術演算を通じて現実的な画像編集を可能にします。従来のGANベースの手法よりも推定時の埋め込みが高速です。

ABSTRACT

Deep generative models have become increasingly effective at producing realistic images from randomly sampled seeds, but using such models for controllable manipulation of existing images remains challenging. We propose the Swapping Autoencoder, a deep model designed specifically for image manipulation, rather than random sampling. The key idea is to encode an image with two independent components and enforce that any swapped combination maps to a realistic image. In particular, we encourage the components to represent structure and texture, by enforcing one component to encode co-occurrent patch statistics across different parts of an image. As our method is trained with an encoder, finding the latent codes for a new input image becomes trivial, rather than cumbersome. As a result, it can be used to manipulate real input images in various ways, including texture swapping, local and global editing, and latent code vector arithmetic. Experiments on multiple datasets show that our model produces better results and is substantially more efficient compared to recent generative models.

研究の動機と目的

• 各タスクごとに再訓練することなく、深層生成モデルを用いて既存の画像を編集する課題に取り組む。
• 構造を表すコードとテクスチャを表すコードの分離された潜在空間を学習し、現実的なスワップを実現する。
• 実画像の高速埋め込みと多様な編集（グローバル/ローカル、テクスチャ転送、潜在算術）をサポートするエンコーダ-デコーダーフレームワークを提供する。

提案手法

• StyleGAN2アーキテクチャをベースにしたエンコーダ E と生成器 G を備えるSwapping Autoencoderを提案する。
• 潜在コード z を構造コード zs（空間テンソル）とテクスチャコード yt（グローバルベクトル）に分割する。
• 入力再構成の正確さを保証する再構成損失 Lrec で学習する。
• GAN損失：LGAN,rec で現実的な再構成を、LGAN,swap でスワップされたハイブリッドの現実性を保証する（zs は一方の画像から、yt は別の画像から）。
• スワップ出力のパッチが元のテクスチャ画像のパッチとテクスチャ統計を共有することを課すパッチ共起識別器 Dpatch を導入する。
• 総損失 Ltotal = Lrec + 0.5 LGAN,rec + 0.5 LGAN,swap + LCooccurGAN を最適化する。
• エッジケース: 構造を保つため zs を局所に保ち、yt はグローバルなテクスチャの一貫性を保証する。アーキテクチャは高解像度編集を可能にする完全畳み込みパイプラインに従う。

実験結果

リサーチクエスチョン

• RQ1 教師なしオートエンコーダが、コードスワップによる現実的な画像編集をサポートする分離可能な構造とテクスチャのコードを学習できるか。
• RQ2 共起パッチ識別器はテクスチャコードの解釈性と編集可能性を改善するか。
• RQ3 テスト時の埋め込みは実用的な画像操作アプリケーションに十分速く、正確か。
• RQ4 潜在空間操作（テクスチャ/構造のスワップとベクトル演算）は多様なデータセットでどう機能するか。
• RQ5 得られた埋め込み空間は局所/全体編集やマルチドメイン変換に適しているか。

主な発見

方法	実行時間（秒）	LPIPS再構成	Church	FFHQ	Waterfall	平均
Ours	0.113	31.3 ± 2.4	19.4 ± 2.0	41.8 ± 2.2	31.0 ± 1.4	31.0 ± 1.4
Im2StyleGAN	990	0.186	0.174	0.281	0.214
StyleGAN2	192	0.377	0.215	0.384	0.325
STROTSS	166	13.7 ± 2.2	3.5 ± 1.1	23.0 ± 2.1	13.5 ± 1.2
WCT 2	1.35	27.9 ± 2.3	22.3 ± 2.0	35.8 ± 2.4	28.6 ± 1.3

• 適切な場所でテクスチャと構造を保持しつつ、構造とテクスチャコードをスワップして現実的な画像ハイブリッドを実現する。
• テスト時の埋め込みは最適化ベースのベースラインよりはるかに高速（約1000倍）で、データセットを跨いで競争力のある再構成品質（LPIPS）を達成する。
• 人間の知覚研究は、Church・FFHQ・Waterfallデータセットでスワップ生成画像の現実感において他手法を上回ることを示した（AMT fooled率: 31.3% Church, 19.4% FFHQ, 41.8% Waterfall; 平均 31.0%）。
• 潜在_space操作はテクスチャ空間と構造空間でのベクトル演算を通じて、領域ベースの編集やドメイン翻訳を含む滑らかで制御可能な編集を実現する。
• ドメイン間平均差ベクトルを用いた連続変換や細粒度編集、複数ドメインのサポート（例: 雪の追加）を提供する。
• Im2StyleGAN、StyleGAN2、STROTSS、WCT 2と比較して、Swapping Autoencoderは画像ハイブリッドの知覚的現実性を高く、ユーザ研究でスタイルと内容のバランスを改善している。