[論文レビュー] A Simple Baseline for StyleGAN Inversion.

Tianyi Wei, Dongdong Chen+6 more|arXiv (Cornell University)|Apr 15, 2021

Generative Adversarial Networks and Image Synthesis参考文献 43被引用数 13

ひとこと要約

この論文では、最適化ベースの手法と同等の高品質な結果を達成しながら、前方伝搬ベースのアプローチの高速性を維持する、シンプルな順方向型ニューラルネットワークを提案する。浅いバックボーンにマルチスケールヘッドを用い、マルチレイヤーのアイデンティティ損失および顔パーツ解析損失、マルチステージのリファインメントを組み合わせることで、顔画像編集応用において効率性と忠実度のバランスを図っている。

ABSTRACT

This paper studies the problem of StyleGAN inversion, which plays an essential role in enabling the pretrained StyleGAN to be used for real facial image editing tasks. This problem has the high demand for quality and efficiency. Existing optimization-based methods can produce high quality results, but the optimization often takes a long time. On the contrary, forward-based methods are usually faster but the quality of their results is inferior. In this paper, we present a new feed-forward network for StyleGAN inversion, with significant improvement in terms of efficiency and quality. In our inversion network, we introduce: 1) a shallower backbone with multiple efficient heads across scales; 2) multi-layer identity loss and multi-layer face parsing loss to the loss function; and 3) multi-stage refinement. Combining these designs together forms a simple and efficient baseline method which exploits all benefits of optimization-based and forward-based methods. Quantitative and qualitative results show that our method performs better than existing forward-based methods and comparably to state-of-the-art optimization-based methods, while maintaining the high efficiency as well as forward-based methods. Moreover, a number of real image editing applications demonstrate the efficacy of our method. Our project page is ~\url{this https URL}.

研究の動機と目的

• リアルな顔画像編集におけるStyleGANインバージョンにおける品質と効率性のトレードオフを解消すること。
• 従来の前方伝搬ベース手法よりも品質を向上させつつ、その高速性を維持する順方向ネットワークの開発。
• 最適化ベースと前方伝搬ベースの手法の利点を統合したシンプルで効果的なベースラインの構築。
• 事前学習済みのStyleGANを用いた実用的でリアルタイムな顔画像編集の実現。

提案手法

• 複数の特徴スケールで動作する効率的な複数のヘッドを備えた浅いバックボーンネットワークを用いて、多段階の表現を捉える。
• 生成器の複数のレイヤーにわたって適用されるマルチレイヤーのアイデンティティ損失により、アイデンティティの詳細を保持。
• 目の、鼻の、口のなどの顔部品における意味的整合性を強制するために、マルチレイヤーの顔パーツ解析損失を用いる。
• 段階的なリファインメント戦略により、反復的なリファインメント段階を経て、徐々にインバージョン品質を向上。
• アイデンティティ、パーツ解析、知覚的要因を組み合わせた複合損失を用いて、エンドツーエンドでインバージョンネットワークを訓練。
• リアルタイム推論を可能にするために、反復的最適化を必要としないシンプルな順方向アーキテクチャとして設計。

実験結果

リサーチクエスチョン

• RQ1 順方向ネットワークは、最適化ベースの手法と同等のインバージョン品質を達成しつつ、高い推論速度を維持できるか？
• RQ2 マルチレイヤーのアイデンティティ損失および顔パーツ解析損失は、単一レイヤーの監視と比較して、インバージョンの忠実度をどのように向上させるか？
• RQ3 マルチステージのリファインメントは、StyleGANインバージョンの品質および安定性にどのような影響を与えるか？
• RQ4 マルチスケールヘッドを備えた浅く軽量なネットワークは、より深い、より複雑なベースラインを上回る性能を発揮できるか？
• RQ5 提案手法は、実用的な編集応用において多様なリアルな顔画像に一般化できるか？

主な発見

• 定量的指標および定性的な比較により、提案手法が最先端の最適化ベース手法と同等のインバージョン品質を達成していることが検証された。
• 高速な推論速度を維持しており、最適化ベースのベースラインよりも遅いとはならず、リアルタイム応用が可能である。
• マルチレイヤーのアイデンティティ損失および顔パーツ解析損失は、生成画像におけるアイデンティティ保持および意味的整合性の向上に顕著な効果を示した。
• マルチステージのリファインメントは、顔のテクスチャーや輪郭などの微細なディテールにおいて、インバージョン結果の品質を向上させた。
• 多様なリアルな顔画像に強く一般化し、効果的な下流の編集タスクを可能にした。
• プロジェクトページには、実用的応用における手法の有効性を示す実世界の編集例が提示されている。