[論文レビュー] Third Time's the Charm? Image and Video Editing with StyleGAN3

Yuval Alaluf, Or Patashnik+5 more|arXiv (Cornell University)|Jan 31, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、画像および動画編集におけるStyleGAN3の検討を行い、StyleGAN3が非同期データから非同期画像を生成できるにもかかわらず、同期されたトレーニングデータが、分離可能な編集と再構成を向上させることを示している。著者らは、StyleGAN3の平行移動／回転不変性を活用した、新たな動画再構成および編集パイプラインを提案し、テクスチャのくっつきを軽減し、視野を拡大する。これにより、エンコーダベースの再構成と微調整された生成器を用いて、実画像および実動画における高精細な編集を達成した。

ABSTRACT

StyleGAN is arguably one of the most intriguing and well-studied generative models, demonstrating impressive performance in image generation, inversion, and manipulation. In this work, we explore the recent StyleGAN3 architecture, compare it to its predecessor, and investigate its unique advantages, as well as drawbacks. In particular, we demonstrate that while StyleGAN3 can be trained on unaligned data, one can still use aligned data for training, without hindering the ability to generate unaligned imagery. Next, our analysis of the disentanglement of the different latent spaces of StyleGAN3 indicates that the commonly used W/W+ spaces are more entangled than their StyleGAN2 counterparts, underscoring the benefits of using the StyleSpace for fine-grained editing. Considering image inversion, we observe that existing encoder-based techniques struggle when trained on unaligned data. We therefore propose an encoding scheme trained solely on aligned data, yet can still invert unaligned images. Finally, we introduce a novel video inversion and editing workflow that leverages the capabilities of a fine-tuned StyleGAN3 generator to reduce texture sticking and expand the field of view of the edited video.

研究の動機と目的

• StyleGAN2と比較して、StyleGAN3の潜在空間の分離性を分析すること。
• 特に非同期データを対象とした既存のエンコーダベースの再構成技術が、StyleGAN3においてどの程度の性能を示すかを評価すること。
• StyleGAN3の不変性を活用して、時間的整合性を向上させるとともにアーティファクトを低減する、新たな動画編集ワークフローを開発すること。
• StyleGAN3における編集および再構成の結果において、同期されたデータと非同期のデータのどちらがより優れた結果をもたらすかを調査すること。
• 微調整されたStyleGAN3生成器と専用の符号化方式を用いて、実画像および実動画の高精細な編集を可能にすること。

提案手法

• 非同期データから非同期画像を生成できるにもかかわらず、同期されたデータでStyleGAN3生成器をトレーニングすることで、分離性および再構成性能を向上させた。
• 非同期データでの再構成を可能にするが、完全に同期されたデータでのみトレーニングされた新しいエンコーダベースの再構成手法を提案した。
• StyleGAN3の平行移動および回転不変性を活用して、テクスチャのくっつきを軽減する動画再構成および編集パイプラインを設計した。
• 潜在変数の操作によって、動画フレーム内の切り取られた領域や部分的に可視な領域を再構成することで、視野拡張技術を導入した。
• StyleGAN-NADAを用いてStyleGAN3を微調整し、親生成器と子生成器の両方の潜在空間における整合性を維持した。
• 提案された再構成パイプラインで得られた潜在変数に対して、既存の編集技術（例：InterFaceGAN、StyleCLIP）を適用し、実画像および実動画の編集を実現した。

実験結果

リサーチクエスチョン

• RQ1 StyleGAN3の潜在空間（特にWおよびW+空間）における分離性は、StyleGAN2と比べてどの程度か？
• RQ2 既存のエンコーダベースの再構成技術は、StyleGAN3に適用した場合、非同期実画像を効果的に再構成できるか？
• RQ3 StyleGAN3を非同期データでトレーニングした場合と比較して、同期データでトレーニングすることで編集および再構成性能が向上するか、特に非同期生成が可能であるにもかかわらず？
• RQ4 StyleGAN3の不変性特性を活用することで、動画編集におけるテクスチャのくっつきを軽減し、時間的整合性を向上させることができるか？
• RQ5 StyleGAN3のアーキテクチャ的強みを活かして、再構成、編集、視野拡張を統合した動画編集パイプラインを設計できるか？

主な発見

• StyleGAN3のWおよびW+潜在空間は、StyleGAN2と比較してより混合されていることが判明し、StyleSpaceが微細な編集に適していることを示唆している。
• 既存のエンコーダベースの再構成手法は、StyleGAN3に適用した場合、非同期データに対して困難を示すが、同期データでのみトレーニングされた新しいエンコーダは、非同期画像に対しても同等の再構成品質を達成した。
• 同期データでトレーニングされたStyleGAN3は、非同期生成が可能であるにもかかわらず、優れた分離可能な編集および再構成性能を実現した。
• 提案された動画編集パイプラインは、StyleGAN3の平行移動および回転不変性を活用することで、テクスチャのくっつきを軽減し、より時間的整合性の高い編集を実現した。
• 視野拡張技術は、潜在変数の操作によって、切り取られた顔の領域（例：あご、髪）を効果的に再構成でき、動画フレーム内の欠落部分の補完に成功した。
• StyleGAN-NADAを用いて微調整されたStyleGAN3生成器は、潜在空間における意味的整合性を維持しており、親モデルと子モデル間で一貫した編集が可能となった。