[論文レビュー] Region-Based Semantic Factorization in GANs

Jiapeng Zhu, Yujun Shen+3 more|arXiv (Cornell University)|Feb 19, 2022

Generative Adversarial Networks and Image Synthesis被引用数 14

ひとこと要約

本稿では、アノテーションやトレーニングを必要とせず、任意の画像領域に対応する分離済みの意味的方向を潜在空間で発見する、領域ベースの意味的要因分解手法ReSeFaを提案する。局所的編集を一般化されたレイリー商を用いて解く双対最適化問題として定式化することで、多様なGANアーキテクチャにおいて高速で頑健かつ正確な局所的編集を実現する。従来手法に比べ、制御精度、領域忠実度、推論速度の面で優れている。

ABSTRACT

Despite the rapid advancement of semantic discovery in the latent space of Generative Adversarial Networks (GANs), existing approaches either are limited to finding global attributes or rely on a number of segmentation masks to identify local attributes. In this work, we present a highly efficient algorithm to factorize the latent semantics learned by GANs concerning an arbitrary image region. Concretely, we revisit the task of local manipulation with pre-trained GANs and formulate region-based semantic discovery as a dual optimization problem. Through an appropriately defined generalized Rayleigh quotient, we manage to solve such a problem without any annotations or training. Experimental results on various state-of-the-art GAN models demonstrate the effectiveness of our approach, as well as its superiority over prior arts regarding precise control, region robustness, speed of implementation, and simplicity of use.

研究の動機と目的

• 既存のGAN意味的発見手法がグローバル属性に限定され、局所的属性の発見にセグメンテーションマスクを必要としているという制限に対処すること。
• 事前学習済みのGAN内で、任意の画像領域について、正確で頑健かつアノテーションなしに局所的意味的要因を発見できること。
• 局所的編集を意味的要因分解の事前知識として統合し、多様なGANモデルにおける制御性と一般化性能を向上させること。
• ハイパーパramータやモデル固有の構造に依存しないことにより、広範な適用可能性を確保すること。

提案手法

• 画像の出力ピクセルに対する潜在コードのヤコビアンに基づき、領域ベースの意味的要因分解を双対最適化問題として定式化する。
• 最適化目的関数を一般化されたレイリー商として再定式化し、固有値分解を用いた効率的解法を可能にする。
• 詳細なセグメンテーションマスクやアノテーションを必要とせず、ターゲット領域の粗いバウンディングボックスのみを用いる。
• 固有値分解問題を解き、特定の領域のみを変更し、他の領域はそのままであるような潜在方向を同定する。
• 再トレーニングやファインチューニングを必要とせず、StyleGAN2 や BigGAN などの多様なGANに適用する。
• GAN生成器のヤコビアンの内在的幾何構造を活用し、領域固有で高忠実度の編集を実現する。

実験結果

リサーチクエスチョン

• RQ1 セグメンテーションマスクやアノテーションを必要とせず、任意の画像領域に対応するGAN内の分離済み意味的要因を発見できるか？
• RQ2 ターゲット領域以外のコンテンツを保存するという点で、頑健かつ正確な局所的編集をどのように保証できるか？
• RQ3 統一的でトレーニング不要な手法を用いて、多様なGANアーキテクチャにわたる高速で一般化可能な意味的要因分解を達成できるか？
• RQ4 StyleSpace や LowRankGAN といった最先端の局所的編集ベースラインと比較して、性能と安定性に優れているか？

主な発見

• すべての評価対象属性において、編集後のIDスコア（ID）が最高であり、顔のグローバル構造の保存が優れていることを示している。
• 比較的手法と比較して、本手法は最も短い発見時間を達成しており、効率的な固有値分解の定式化に起因する。
• 定量的評価では、非ターゲット領域（‘out’）におけるMSEが低く抑えられており、編集時の非ターゲットコンテンツの保存が優れていることを確認した。
• 視覚的品質と定量的指標の両面で、StyleSpace や LowRankGAN を上回っており、特に背景や周囲領域への不要な変更を最小限に抑える点で優れている。
• StyleGAN2 や BigGAN など多様なGANアーキテクチャにおいても強力な性能を維持しており、広範な一般化性能を示している。
• 本手法は、目や口を自然に閉じることができ、ベースラインで見られる顔の下あごの変形や背景色の変化といったアーチファクトを最小限に抑える。